Avant l'an 1000, les terres de Charmes étaient possédées par le chanoine « Prémencus » de Saint-Barnard de Romans. À l’emplacement actuel du château, il fit dresser une tour en bois et une enceinte qui offraient leur protection aux habitants.

Les seigneurs de Nerpol qui vécurent à Charmes entre 1160 et 1300 firent bâtir le château actuel dans lequel ils incorporèrent le donjon bâti au siècle précédent...

(source wikipedia... lire la suite)