L'origine de Paulmy viendrait de , Palmes, en raison de nombreuses palmes acquises par les seigneurs de l'endroit, tant par leurs talents littéraires que par leurs exploits guerriers.
Deux châteaux sont toujours érigés pour en témoigner.