Die erstmalige Nennung des Schlosses erfolgte im Jahr 1246. Ungefähr ab der Zeit von 1270/1280 bis in die Mitte des 14. Jahrhunderts war das Schloss der Sitz der Marschalken von Mattsies.
Als burgauisches Lehen befand es sich ab 1357 im Besitz derer von Ellerbach. Kaiser Friedrich III. gab den Befehl, das Schloss niederzubrennen, der am 16. Januar 1456 durch Graf Oswald von Thierstein ausgeführt wurde. Ursache für die Zerstörung war die Beteiligung Hans Burkhards von Ellerbach an der Belagerung von Günz.
Zwei Jahre später, 1458, kauften die Stein von Ronsberg die Herrschaft. Diepold von Stein zu Jettingen, ein Hauptmann des Schwäbischen Bundes, ließ die Burg von den Bauern unter Knopf von Leubas 1525 plündern und abermals durch Niederbrennen zerstören.
Der Begründer der Familie Fugger-Glött, Christoph Fugger von Kirchberg und Weißenhorn, kaufte die Herrschaft 1598 von Marquard von Stein. In seinem Besitz verblieb das Schloss bis zum Jahr 1679 und ging danach an Herzog Maximilian Philipp von Bayern über.
Als Herzog Maximilian 1705 starb, erwarben die Wittelsbacher das Schloss. Die Hofkammer verpachtete es 1754 dem Freiherrn von Lafabrique. Gräfin Maria Josepha von Toerring-Seefeld hatte das Schloss als Mannslehen in der Zeit von 1785 bis 1808 in Besitz.
In den Jahren danach wechselten die Besitzer sehr häufig: 1810 Kurfürstin Leopoldine, 1835 die Grafen Waldbott-Hohenems, 1854 die Freiherren von Botzheim, 1905 Freiherr von Rougemont. Derzeit befindet sich das Schloss in Privatbesitz. Der bestehende Bau stammt im Wesentlichen aus dem 16. Jahrhundert und wurde nach den Zerstörungen 1525 errichtet.
Mitte des 19. Jahrhunderts kam es zu Veränderungen, die das Portal und den Aborterker an der Nordseite betrafen. Weitere Umbauten erfolgten 1905 während des Besitzes von Freiherr von Rougemont. In diese Zeit fielen der Bau eines neuen Treppenhauses an der Nordwestecke sowie Erweiterungen an der Südwestecke. Die Umbauten erfolgten nach Plänen des Münchners Hans Schurr. Im Zuge dieser Bautätigkeiten wurde festgestellt, dass das gesamte Nordostviertel des Schlosses ursprünglich als freier Turm errichtet und erst im Zusammenhang mit der Errichtung des Hochschlosses, vermutlich im 13. Jahrhundert, in die Anlage eingebaut wurde. Die Zwischenmauer dieses Gebäudeteiles war mehr als einen Meter stark und reichte bis in das vierte Stockwerk. Im unteren Bereich war sie aus Tuffsteinen errichtet und wies im obersten Stockwerk vermauerte Schussnischen – vier auf der Giebelseite, sechs auf der Längsseite – auf. Durch den Umbau und vor allem durch den Einbau des Treppenhauses lässt sich dies nur noch sehr schwer nachvollziehen.
Quelle: Wikipedia: Schloss Mattsies
Leicht begehbarer Wanderweg am Rande von Rammingen entlang des Tiefenbach.