Au VIIIe siècle, Varennes appartient à Saint-Gengoulf, illustre guerrier devenu connétable de France sous Pépin le Bref. Saint-Gengoulf y réside et y fait bâtir une église. À sa mort en 760 sans héritier, la maison de Choiseul prend possession de Varennes et d'une partie de ses autres domaines.
François de Montarby, alors prieur de Varennes, la fit construire en 1540 sur la fontaine associée à la légende du martyr. La fontaine est située au centre de la crypte.