Il semble que ce soit Amédée de Montfaucon, petit-fils de Richard Ier de Montfaucon, qui bâtit le château vers 1139 avec le concours de son frère Hugues, dit « de Charmoille », (Amédée pris le nom de Neuchâtel et fut la souche des grands sires de Neuchâtel-Bourgogne) afin de protéger les villages de La Fermetey qui formèrent les premières possessions de la seigneurie de Neuchâtel-Bourgogne…
