Résidence construite dans la seconde moitié du 18e siècle, elle est en 1836 la résidence secondaire de Charles et Anne‑Marie Bouyer et de leur fille Émilie. À l’adolescence, la jeune fille est frappée d’une grave maladie. Elle décède en 1852, suivie l’année suivante par son père. Veuve et suivant les souhaits de son enfant, Anne‑Marie Bouyer recueille alors une dizaine d’orphelines dans le manoir auquel elle donne le prénom de sa fille. À sa mort, elle lègue l’asile Émilie, alors dirigé par une directrice et son personnel, à l’église protestante d’Arvert.
Les diaconesses de Reuilly hériteront du manoir avec pour mission de faire perdurer le travail d’Anne‑Marie Bouyer. Avec l’évolution législative, l’institution engage des professionnels de l’éducation. De nos jours, le manoir Émilie est un institut thérapeutique éducatif et pédagogique.