Au XIIème siècle....
L'histoire nous dit qu'au XIIème siècle, et ce jusqu'au XVème siècle (date à laquelle Saint Aubin releva du Comté de Joigny), l'Archevêque de Sens donnât à l'Abbaye de Sainte Colombe un château dit "de frileux" construit au bas du pays et qui aurait subsisté jusqu'à La Révolution...

(extrait du site officiel)