W 1809 r. klasztor zamieniono na szpital wojskowy, a w 1819 r. nastąpiła ostateczna kasata zakonu. W części klasztornej urządzono wówczas więzienie. W 1837 r. kościół został zamieniony na cerkiew pw. św. Mikołaja. Podczas I wojny światowej Austriacy zamienili go na magazyn.
W czasie okupacji niemieckiej podczas II wojny światowej w części budynku zorganizowano szpital dla rannych jeńców wojennych. Leczono tu od 100 do 500 żołnierzy jednak po kilku tygodniach szpital przeniesiono do budynku gimnazjum im. M. Konopnickiej (ul. Żeromskiego 41), a cały obiekt przeznaczono na niemieckie więzienie. Przewinęło się przez nie ponad 18 tys. więźniów, z których tylko 8 tys. stanowili przestępcy kryminalni. Większość to działacze polityczni, członkowie podziemnego ruchu oporu lub zupełnie niewinni ludzie. Na początku stycznia 1943 r. z radomskiego więzienia duży transport więźniów skierowano do Majdanka, rozpoczynając tym samym funkcjonowanie tego obozu koncentracyjnego. Ostatni transport wysłany 14 stycznia 1945 r. do Auschwitz-Birkenau dojechał tylko do Częstochowy. Pozostałych więźniów rozstrzelano w styczniu 1945 r. na Firleju. Po wyzwoleniu w więzieniu przetrzymywani byli członkowie organizacji niepodległościowych. Dnia 9 września 1945 r., dzięki udanej akcji podziemia, dowodzonej przez Stefana Bembińskiego "Harnasia", uwolniono prawie 500 osób zatrzymanych przez Urząd Bezpieczeństwa.
Podczas wystąpień robotniczych 1976 r. ze schodów świątyni ksiądz Roman Kotlarz błogosławił protestujących. Po wydarzeniach czerwcowych rozpoczyna się akcja masowych zatrzymań, której ofiarą padają nie tylko osoby biorące udział w walkach ulicznych, ale i zwykli przechodnie, często nie mający nic wspólnego z protestami. W ręce milicji wpada 275 osób, a 26 czerwca, kolejnych 386. Zatrzymywani demonstranci są bici przez milicjantów na „ścieżkach zdrowia”, m.in. przed wejściem do gmachu KW MO i w Areszcie Śledczym.
Do roku 1998 w byłym klasztorze benedyktynek funkcjonowało więzienie, a obecnie mieści się tu Centrum Duszpastersko-Administracyjne Diecezji Radomskiej.