Au XIIème siècle….
L’histoire nous dit qu’au XIIème siècle, et ce jusqu’au XVème siècle (date à laquelle Saint Aubin releva du Comté de Joigny), l’Archevêque de Sens donnât à l’Abbaye de Sainte Colombe un château dit « de frileux » construit au bas du pays et qui aurait subsisté jusqu’à La Révolution…
(extrait du site officiel)