Pour atteindre la cache il vous faudra passer par la plage du Nord de l'ile de Noirmoutier en démarrant du Vieil ou de l'Herbaudière
L'île de Noirmoutier connaît une présence monastique depuis le VIIème siècle, avec l'arrivée des bénédictins et la fondation de l'abbaye Saint-Philibert de Noirmoutier.
Au XIIème siècle, l'île compte dès alors deux abbayes, la « noire » (bénédictins de Saint Philibert, située au centre de l'île) et la « blanche » (cisterciens, située au nord), celle devant laquelle se trouve la cache
Contrairement à la majorité des abbayes situées dans les terres, à l'intérieur desquelles les moines vivent de l'agriculture, la seule ressource abondamment disponible et compatible avec une vie monastique est le sel. Les moines mettent en eau de nombreux marais salants et en reçoivent d'autres, à Noirmoutier et dans l'île de Bouin : au Moyen Âge, ils possèdent 3 800 œillets.
La situation relativement isolée de l'abbaye sur l'île la met à l'abri des destructions de la Guerre de Cent Ans.
À la Révolution, l'abbaye est fermée et vendue comme bien national : elle est achetée par M. Jacobsen, fermier général, et par M. Hocquart, parlementaire de Paris. Jean-Corneille Jacobsen, ayant inspecté les lieux, veille à la sauvegarde de la bibliothèque. L'abbaye reste dans la famille Jacobsen jusqu'en 1869, servant notamment d'hôpital militaire durant la Guerre de Vendée et de manufacture de soude au début du xixe siècle, puis est revendue à la famille Jeanneau.
Les bâtiments de l'abbaye bénéficient de deux inscriptions au titre des monuments historiques en 1926 et 1996.