De part son implantation, Noilhan a été une place forte occupée très anciennement.
Le castrum de Noilhan est cité pour la première fois en 1168.
L'enceinte du château était de type circulaire avec deux ponts et deux barbacanes à l'Est et à l'Ouest