Op 19 juni 1375 werd door edelman Jean Albert, Prévôt de Gagère (bestuurder), voor het eerst aantekening gemaakt van het leengoed van Bussolles, eigendom van de heer van La Palisse. Aan het einde van deze 14e eeuw, in het jaar 1393, nam de Obeilh-familie de adellijke titel over van de heer van Bussolles. De familie Obeilh behield het eigendom tot het midden van de 17e eeuw. Via een erfenis kwam het kasteel van Bussolles in 1683 toe aan Antoine Henri de Chavagnac. Het familiewapen is nog steeds aanwezig op een muurschildering in de Chapelle de Bussolles.Na zijn overlijden op juni 28 1706 werd het domein verdeeld over 3 partijen, onder meer aan Jean-Baptiste des Gallois de La Tour, later parlementslid wiens befaamde zoon betrokken was bij de Franse Revolutie. Na het overlijden van deze Charles-Jean-Baptiste des Gallois de La Tour, eerste president van het Parlement van de Provence, kwam het kasteel in handen van Pierre de la Faige. In 1831 ging Bussolles over naar Claynes Eugène, zoon van de burgemeester van Lapalisse. Nazaten van de familie zijn begraven in de Chapelle de Bussolles, even ten noord-oosten van het kasteel. Het kasteel bleef tot midden 20e eeuw in deze famili, maar de laatste jaren eindigden in een familiedrama.