Das Geschlecht ist aber bald erloschen und auch die Rettenberger verkauften ihre Herrschaft 1351 an den Bischof von Augsburg. Fortan lebten unsere Ahnen als Leute der sogenannten „unteren Pflege“ unter dem „Krummstab“, bis Wertach durch die Säkularisation 1803 nach Bayern kam.

Von der St. Sebastianskapelle führt der weg zum Gedenkstein "Schloßbichel". Ein kleiner Spaziergang entlang der Wertach.