Site stratégique sur les bords de la Gironde pour la Saintonge, le château implanté sur un promontoire et la seigneurie de Mortagne‑sur‑Gironde sont installés depuis le Moyen Âge.

Sa position en fait un lieu de siège notamment au cours des guerres de Cent ans et de Religion. La forteresse est détruite en 1407 par les habitants de Saint‑Jean‑d’Angély qui payaient jusqu’alors une taxe aux anglais pour son entretien. Entre les 16^e et 17^e siècle, le château n’est plus qu’un lieu de garnison.

De nos jours, il ne reste du château médiéval que des salles souterraines. La chapelle, dont seuls quelques chapiteaux sculptés ont été conservés, a été remplacée par une piscine. Les ruines du château et de ses défenses du 18^e siècle sont connues grâce au plan de Claude Masse.
Le château est saisi comme bien national en 1794 et est vendu aux enchères. Passant de main en main, il reste en ruine jusqu’à ce que des reconstructions et des remaniements aient lieu à la fin du 19^e siècle et dans la première moitié du 20^e siècle. Le site accueille dans la seconde moitié du 20^e siècle un centre de vacances.