Ancienne cité fortifiée, Castex faisait partie de la châtellenie du Carla

Quant à la paroisse, elle dépendait jusqu’en 1774 du monastère du Mas d’Azil (sauf Manzac qui relevait de l’abbaye de Lézat). Principales familles seigneuriales : de Colle, de Sers (Jean de Sers, seigneur de Castex : mariage en 1679) ; Du Pac dont Joseph-Guy du Pac de Marsoliès (1761-1831) qui fut maire de Castex sous la Terreur Avant la Révolution...

(image et extrait du site)