Selon la légende, l’ermitage taillé dans la falaise aurait été occupé dès le 2^e siècle par Saint‑Martial, premier évêque de Limoges, évangélisateur du Limousin et de l’Aquitaine. C’est également en ce lieu qu’aurait vécu Saint‑Ausone, né à Mortagne‑sur‑Gironde, disciple de Saint‑Martial et premier évêque d’Angoulême.
La légende de Saint‑Martial se développe sur le site grâce à l’implantation d’un monastère à partir du 9^e ou 10^e siècle. Dès 1025, l’ermitage est mentionné sur l’itinéraire du pèlerinage vers Saint‑Jacques‑de‑Compostelle : les moines accueillaient les pèlerins puis les faisaient traverser l’estuaire en bateau.

L’ensemble est difficilement datable, y compris pour la tourelle surplombant la falaise, qui servit d’amer, de clocher et de moulin à vent. La chapelle et son mobilier daterait en majorité du 17^e siècle. L’ermitage creusé dans la roche se compose d’une chapelle, deux petites chambres, un réfectoire, un chai, un caveau et un grenier.

Les guerres de Religion entraînent l’arrêt du pèlerinage sur le site jusqu’en 1703.
Saisi comme bien national en 1791, l’ermitage est vendu aux enchères. En 1861, l’abbé de Mortagne réhabilite le site mais la relance du pèlerinage est freinée par les détériorations naturelles du site. L’ermitage est acheté par l’évêché de La Rochelle en 1878, permettant ainsi l’organisation de cérémonies et de processions. Il reprend réellement vie après la Première Guerre mondiale et le pèlerinage perdure encore aujourd’hui.