L’actuel château fut construit aux alentours de 1640 par le Cardinal de Richelieu devenu propriétaire de la seigneurie quelques temps auparavant. Le nouveau bâtiment remplace le précédent château, occupé par la famille de Campet.

Le château est racheté par le maréchal de Sénecterre après la mort du cardinal, mais mal entretenu, il est déclaré inhabitable en 1758. Vendu comme bien national à la Révolution, il est racheté par l’évêque de La Rochelle en 1860 et les Frères des Écoles Chrétiennes y installent une école. Transformé un temps en noviciat, le château sert d’hôpital militaire pendant la Première Guerre mondiale.

En 1919, la municipalité, désormais propriétaire, y installe l’école des garçons jusqu’en 1976.
Le site sert aujourd’hui d’espace culturel.