L'immeuble fut bâti de 1644 à 1652 par les Sœurs de la Congrégation de Notre-Dame, qui y inaugurèrent leur couvent en mars 1652. Il y avait une chapelle, à l'extrémité de l'aile gauche du bâtiment donnant rue Holgate et un cimetière.
La façade de la partie centre fut refaite en 1717, l'aile droite est de la fin du XVIIIe siècle.
En 1792, les religieuses reçurent l'ordre de quitter le couvent, la ville voulant utiliser une partie des bâtiments. Le couvent servit tour à tour de garnison, de caserne, de gendarmerie, de collège communal, de bureau pour la justice de Paix, de bibliothèque, d'écoles primaires.
Finalement, les services municipaux héritent de ce cadre si particulier.
L'hôtel de ville