Le site a accueilli à l'origine les moines de l'abbaye voisine fuyant les ravages des guerres de religion.
Ce prieuré, appelé Saint-Eloy de la Pierrière, sera transformé le 15 novembre 1666 en hôpital royal de la marine, chargé d'accueillir les malades de l'arsenal de Rochefort en cours de construction. Son éloignement lui fait perdre son statut d'hôpital en 1683 mais reste un site monastique malgré le départ des Capucins pour une autre demeure, actuellement quai des Capucins.
Vendu comme bien national, le prieuré devient logis dont la configuration actuelle est due au contre amiral Félix Dupont.