Valençay doit son nom au Gallo-Romain Valens qui possédait en ce lieu une villa « Valenciacus » (Domaine de Valens).
Du IIIème au Vème siècle, des ateliers et bâtiments qui abritaient entre autres un four, un moulin et un pressoir furent construits autour de cette villa.
C’est une forteresse de pierre qui fut élevée fin Xème début XIème pour défendre la contrée.