Les origines du Domaine de Drémont, apparemment très anciennes, sont floues ; nous ne disposons pas d'archives antérieures à 1820.
L'architecture de la maison d'habitation. La partie la plus ancienne du Domaine date du XVI éme siècle.On raconte que le Domaine était à l'origine tenu par des moines.
Plusieurs indices nous laissent même penser qu'il s'agirait d'une première étape du pèlerinage de Vézelay à St Jacques de Compostelle, qui passe toujours à proximité de la ferme. Les pèlerins actuels préfèrent emprunter les chemins reculés. Mais au Moyen-Age, la peur des brigands leur faisait préférer les « grandes » routes. Donc, la voie Romaine « ancienne voie de Vézelay » passe à 300 m de la maison.
Enfin, bien que postérieures à cette époque, les statues de la Vierge et du Sacré Cœur (XIX éme siècle), pour le moins inattendues dans une ferme, selon toute vraisemblances elles sont liées à un passé, une histoire. Le liseret de l'aube de la Vierge est d'ailleurs orné de coquilles St Jacques, symboles du pèlerinage.