L'ancienne prison Saint-Michel, a été concue par l'architecte Jacques-Jean Esquié en 1855, sous le règne de Napoléon III, et construite de 1862 à 1869 pour une capacité de 400 détenus. A la suite de la guerre franco-prussienne, la prison Saint-Michel est d'abord utilisée comme hôpital et les premiers détenus arrivent en 1872.
Pendant l'occupation, de nombreux résistants y furent détenus, condamnés à mort et exécutés, comme Marcel Langer, chef de la 35ème brigade des FTP-MOI, condamné à mort par la justice de Vichy et guillotiné dans la prison de Saint-Michel le 27 juillet 1943.
Le 27 janvier 2003, les 528 détenus de la prison Saint-Michel sont transférés à la nouvelle maison d'arrêt de Seysses. Seul le centre de semi-liberté reste sur place. Les 30 derniers détenus ont déménagés à Seysses en octobre 2009.
En février 2011, le préfet inscrit l'entrée de l'ex-prison (la cour d'honneur et les bâtiements qui la bordent, dont le castelet) au titre des Monuments historiques.
La prison a une forme en "étoile" : les 5 anciennes ailes de détention rayonnent autour d'une rotonde centrale.
Le samedi matin, un marché de plein vent se tient sur le parvis de la prison.