L’immeuble fut bâti de 1644 à 1652 par les Soeurs de la Congrégation de Notre-Dame, qui y inaugurèrent leur couvent en mars 1652. Il y avait une chapelle, à l’extrémité de l’aile gauche du bâtiment donnant rue Holgate et un cimetière. L’aile gauche fut terminée en 1655. La façade de la partie centre fut refaite en 1717, l’aile droite est de la fin du XVIIIème siècle. En 1792, les religieuses reçurent l’ordre de quitter le couvent, la ville voulant utiliser une partie des bâtiments. Le couvent servit tour à tour de garnison, de caserne, de gendarmerie, de collège communal, de bureau pour la justice de Paix, de bibliothèque, d’écoles primaires.
Finalement les services municipaux héritent de ce cadre si particulier. Alliance du passé et du présent, côté square il faut remarquer un aménagement à la fois classique et très contemporain : une coquette rivière artificielle ornée d’une cascade.