Les terres de Rigaudière, mentionnées pour la première fois en 1579, accueille une première construction pour la famille Froger au 17e siècle. Le premier édifice est remplacé par le château actuel, élevé entre 1759 et 1776. Certaines pièces ont conservé leur décor de boiseries d’époque Louis XV ainsi que des cheminées. Le pavillon principal est coiffé d’un toit à l’Impériale. Le logis est bordé de deux communs en retour d’équerre, autour d’une cour.