Vers 1265, le Duc Jean Ier fonde un couvent de Dominicains pour concurrencer les puissants Bénédictins de Sainte-Croix. L'appellation abbaye blanche est peut-être un hommage à l'épouse du Duc, Blanche de Navarre, ou une référence à la couleur du costume des moines. Le couvent est fermé en 1790, l'église disparaît et les constructions monastiques sont progressivement défigurées. En 1808 s'y installent les dames de la retraite du Sacré-Coeur. En 1887, un culte à Saint-Joseph y est établi. Les soeurs sont remplacées, en 1960, par les Filles de Jésus de Kermaria. La chapelle Saint-Joseph est construite entre 1932 et 1935 et décorée de vitraux.