L'abbaye de Saint-Polycarpe est une ancienne abbaye bénédictine datant du XIIe siècle.
L'abbaye possède un cloître du XIVe siècle qui a été détruit. Les bâtiments conventuels sont également en ruine. Fait rare, un aqueduc qui amenait l'eau aux moines est visible au sud de l'abbaye. L'église est le seul édifice subsistant.
Les ruines sont classée monument historique en 1913 et l'église a depuis été restauré à deux reprises : en 1972 et 1994.
Extérieurement, l'église possède un imposant clocher porche rigoureux typique des églises fortifiées. Le clocher ressemble à un donjon.