Le château de Brassac est l'un des plus importants des environs, grâce à son excellente position défensive au sommet de pentes raides, et à sa situation à la limite entre l'Agenais et le Quercy. Son importance est attestée dès le XIIe siècle, c'était une baronnie.

Il appartenait alors aux Planels, vassaux du duc d'Aquitaine mais établis sur les terres du comte de Toulouse...

(source wikipedia)