Das Kloster wurde zwischen 1645 und 1655 errichtet. Im Oktober 1655 zogen die erste Kapuzinerpatres ein. Sie übernahmen vorwiegend seelsorgerische Aufgaben in Riedlingen und Umgebung. Die wirtschaftliche Grundlage des Klosters bildeten Spenden und eine Hostienbäckerei für die umliegenden Gemeinden und Klöster.
Das Kloster überstand zwar die ‘‘Klosterreformen‘‘ Kaiser Josephs II., durfte aber keine Novizen mehr aufnehmen. Das endgültige Aus kam aber nach der Herrschaftsübernahme durch Württemberg 1806. Zunächst diente es noch einige Jahre als Sammelkloster für die Patres anderer aufgelöster Kapuzinerklöster. 1812 wurde das Gebäude an die Stadt verkauft, die den Patres den weiteren Verbleib im Kloster gestatteten. 1832 starb der letzte Bewohner.
Im Südflügel des Klosters befanden sich 25 Mönchszellen von 2 x 2,30 Meter Größe. Eine dieser Räume wurde original erhalten. Im Übrigen wurden die Auskleidungen des Fachwerks entfernt und dort die städtische Bücherei eingerichtet. Hier befindet sich auch ein Gedenkraum für den Schriftsteller Werner Dürrson (1932 – 2008).