Das Schloss wurde 1166 ursprünglich als Burg erbaut und war bis 1289 Sitz der Meier Elggs unter der Abtei St. Gallen. Bis 1425 hielten hier die Habsburger Gericht, bevor die Gerichtsbarkeit an die Zürcher überging, die das Gebäude bis 1798 zu diesem Zweck nutzten.1576 wurde die Burg vom Zürcher Bannerherr Hans Heinrich Lochmann erworben, der sie 1580 umbaute und zum Schloss erweiterte. Er erstarb 1590 kinderlos in Padua. Die Augsburger Patrizier Hans Heinrich und Hans Ludwig Heinzel von Tägernstein erwarben das Schloss, mussten es jedoch durch eine Schwiegermutter der beiden, Frau Magdalena Neidhart 1599 veräussern. In diesem Jahr erwarb der Kaiserliche Rat Bonaventura Bodeck das Schloss mitsamt der Gerichtsbarkeit. Er verstarb 1629 und wurde in Elgg beigesetzt. Durch seinen Sohn Melchior Bodeck wurde das Schloss 1637 an den Statthalter Peter Sulzer von Winterthur verkauft. Söhne des Peter Sulzer gerieten durch Spekulationen und Bürgschaften in finanzielle Bedrängnis, so dass das Schloss 1665 in einem bedenklichen Zustand war. Mit Hilfe eines fingierten Schuldscheines gelang es dem Abt von St. Gallen, in den Besitz des Schlosses zu kommen. Darüber entbrannte mit der Stadt Zürich ein langjähriger Streit, der erst 1670 beim Erwerb des Schlosses durch Herkules von Salis-Marschlins, der in das Zürcher Bürgerrecht aufgenommen wurde, beendet werden konnte.1712 kam die Burg an den Generalmajor Felix Werdmüller. Dieser verfügte in seimem Testament 1712 , dass das Schloss und die Herrschaft als unveräusserliche Fideikommiss im Besitz der Familie Werdmüller bleibt. Die Familie ist bis heute im Besitz des Schlosses.