Albussac signifierait, de part son suffixe "ac", domaine d'un gallo-romain du nom d'Albucius.
Le bourg est dominé par son église romane du XIème siècle.