Il faut attendre le Xème siècle pour trouver mention de Baillestavy comme possession de l'abbaye de Saint-Michel de Cuixà.
A partir de 1255, il est fait mention du "Puig del Castell, un donjon accompagné d'une enceinte et de quelques bâtiments. Le donjon sert aujourd'hui de clocher à l'église paroissiale. Vers la fin du XIIIème, les habitants montent vers le "Castell" pour trouver une sécurité...

(image et extrait du site officiel de la commune... lire la suite)