Les deux sœurs Adèle et Joséphine Mérigault ont fait bâtir la chapelle en 1876.
L'année suivante, en 1877, elles font construire ensuite l'orphelinat, « dit pavillon Saint-Joseph, destiné à accueillir en priorité les filles de marins ayant péri en mer » (dossier de l'Inventaire Général du Patrimoine culturel).
Les Franciscaines missionnaires de Marie, sous l'autorité desquelles l'orphelinat et sa chapelle sont confiées, s'installent à Deauville en 1878. En 1881, la communauté des Franciscaines de Notre-Dame de la Pitié de Deauville est fondée.
En 1883, l'architecte Delarue est l'auteur des plans pour de nouveaux bâtiments.
En 1890, la chapelle est consacrée. À cette occasion, les vitraux de Louis-Auguste Duhamel-Marette (peintre-verrier d'Évreux) sont montés dans leurs baies.
En 1897, le pavillon Saint-Joseph est agrandi.
Durant la Première Guerre mondiale, l'orphelinat sert d'hôpital militaire. Il est rendu à sa fonction initiale en 1919. Un dispensaire est alors construit.
Une partie des bâtiments appartient toujours à la Congrégation des Franciscaines de Notre-Dame de Pitié de Deauville, pendant que les autres servent d'établissement scolaire.
En 1938, une école ménagère est fondée pour les jeunes filles.
En 1954, les sœurs font construire un bâtiment dédié à l'enseignement professionnel dans les secteurs social et sanitaire.
En 1971, le lycée professionnel Saint-Joseph devient un lycée privé sous contrat avec l'État.
Les années 1980 sont le moment où l'établissement passe sous tutelle diocésaine.
En 2010, la communauté des Sœurs Franciscaines quitte ses bâtiments d'origine, rachetés par la ville, pour s'installer dans de nouveaux locaux à proximité.
En 2013, le projet d'un pôle culturel avec musée, médiathèque, auditorium, salle d'exposition, café, « un centre de vie et de culture ouvert à tous », est lancé par la mairie de Deauville, après la vente des bâtiments suite à l'impossibilité de l'entretien.
L'architecte Alain Moatti, de l'agence Moatti-Rivière, est en charge du projet.
En 2016, les travaux pour la création du pôle culturel débutent pour vous permettre de découvrir désormais ce lieu magnifique à 100m de là !