Selon Arcis de Caumont, il y a une « motte féodale » (butte factice) dont le donjon a été détruit. La motte l'enrobait. Il doit donc rester dedans une cave.

Une tradition locale prétend que Ganelon, traître à Roncevaux, se serait réfugié dans cette forteresse qu'il possédait à Tonnay-Boutonne, et que Charlemagne serait venu l'assiéger et après l'avoir pris ou fait pendre, aurait fait jeter son corps dans le puits du donjon...

(source wikipedia... lire la suite)