Autrefois, le village de Sainte-Gemme était situé à l’ouest du village que l’on connaît aujourd’hui ; le Bourg a part la suite été déplacé au cours du 19 siècle, laissant la nature reprendre ses droits dans ce que l’on appelle aujourd’hui “Le fond du lieu“. On sait
qu’un château dont il ne reste plus de traces, se tenait au sud du village. Plusieurs écrits y font référence, notamment ceux d’Edmond Cabié en 1890 dans son ouvrage sur les «Gorges du Viaur»…
(image et extrait du site officiel de la commune)