Suivant les initiatives des villes du département telles qu'Évreux, Bernay et Pont-Audemer, le musée est construit à partir de 1880 par l'architecte Georges-Paul Roussel, à Louviers, dans le style éclectique (dôme orientalisant). Le projet y associe une bibliothèque.
Pour cela, la partie donnant sur l'actuelle place Ernest-Thorel de l'ancien couvent Saint-Louis est détruite. Le musée, fondé en 1872, peut laisser la place libérée à l'hôtel de ville en 1888 quand il ouvre.
Les matériaux choisis combinent la brique et la pierre.
Le peintre Paul de Saint-Martin, élève du peintre Paul Delaroche, signe le premier catalogue du nouveau musée le 1er octobre 1888 en qualité de conservateur.
Le fonds de collection du musée a été constitué d’achats, de legs (legs Vignon et Lalun) et de donations (donation Roussel) comprenant : archéologie, peintures, arts décoratifs, mobiliers et faïences de la Renaissance au xixe siècle.
Depuis 1996, le musée a repris vie, le personnel s’est formé à la conservation préventive. L’ensemble des collections en a d’ailleurs bénéficié : transfert des objets dans de nouvelles réserves, dépoussiérage et désinsectisation, conditionnement, bilan sanitaire.
Le musée de Louviers expose de façon temporaire ses collections, riches notamment en faïence, peinture, photographie, en alternance avec des expositions sur le patrimoine, l’histoire locale et l’art contemporain. Seule l’exposition sur le textile est permanente.
En 2018, une campagne pour restaurer les deux portes d'entrée par un menuisier-ébéniste spécialiste du patrimoine ancien avec le soutien de la Fondation de France est lancée.