Avant l’an 1000, les terres de Charmes étaient possédées par le chanoine « Prémencus » de Saint-Barnard de Romans. À l’emplacement actuel du château, il fit dresser une tour en bois et une enceinte qui offraient leur protection aux habitants.
Les seigneurs de Nerpol qui vécurent à Charmes entre 1160 et 1300 firent bâtir le château actuel dans lequel ils incorporèrent le donjon bâti au siècle précédent…
(source wikipedia… lire la suite)