Der Ort Straßberg wird urkundlich erstmals 1246 genannt. Bei diesem Dokument vom 8. September 1246 handelt es sich um einen Vertrag, der wie damals üblich von mehreren Zeugen abgeschlossen wurde, und als einer von diesen wird namentlich erwähnt: Cuonradus, Villicus de Strazperg. Besitzer der Burg war der jeweilige Bischof von Augsburg.
Bis etwa zur Mitte des 18. Jahrhunderts war die Struktur Straßbergs die eines landwirtschaftlichen Gutes. Erst ein Bericht aus dem Jahre 1763 schildert, dass unter der Familie von Grenzing 30 neue Häuser hinzugekommen seien und Straßberg anfange, einem Dorf zu gleichen.
Auch nach dem 1786 erfolgten Verkauf des Schlosses an Privatleute hing das Wohlergehen der dörflichen Gemeinschaft meist vom jeweiligen Besitzer ab. Von denen, die man als Wohltäter des Dorfes erwähnen muss, seien Johann Michael Schöppler und insbesondere Frieda Forster, die auch 1880 das Schloß neu erbauen ließ, genannt. Eine Verbesserung der Lebensbedingungen für die Familien ergab sich schließlich aus den Arbeitsmöglichkeiten in den benachbarten Industrie- und Handwerksbetrieben zu Beginn des 20. Jahrhunderts.
Zum Cache: Das Schloßgelände muss nicht betreten werden.