Au cœur de l'ancien Fezensac, le bourg castral de Lavardens est très classiquement établi sur une serre dont l'extrémité rocheuse servait dès le Moyen Age de socle à la résidence ou "salle" seigneuriale.