Datée de 1750, selon l’inscription mentionnée sur "le noyau ancien du bâtiment", le logis du Cailleau a appartenu à la famille D’Aulnis. La porte d’entrée de la maison de maître à pilastres doriques porte la date de 1750. Le seigneur du Cailleau faisait partie des dix vassaux de la baronnie de Mornac. Le fief semble être mentionné dès le 12e siècle dans les premiers textes sur l’église de Breuillet.