Der Sommerkeller ist ein insgesamt 1 400 Quadratmeter großes Backsteingewölbe, das aus 3 verschieden großen nebeneinanderliegenden Tonnengewölben besteht. Von 1860 bis 1910 diente er der damaligen Schlossbrauerei als Bierkeller.
Ab 1870 fanden dort in den Herbstmonaten, wenn die Bierfässer nicht mehr unterirdisch gelagert werden mussten, regelmäßig kulturelle Veranstaltungen statt. Mehrere Stiftungsfeste des Veteranenvereins Bernried gingen ebenso über die Bühne wie Bezirksfeuerwehrtage oder im Jahr 1880 das „Wittelsbacher Jubiläum“. Auch gab es im Sommerkeller musikalisch zum Teil hochkarätig besetzte Konzerte mit Solisten aus München und Berlin.
Während des 2. Weltkriegs lagerte Wilhelmina Busch unbemerkt von den Nazis das gesamte wertvolle Inventar von Schloss Höhenried hier ein.
Anfang der Jahrtausendwende erwarb die Kommune den Keller vom Hofgut und begann parallel zum Rathausneubau in den Jahren 2003/2004 mit ersten Sanierungsmaßnahmen. Der Sommerkeller wurde seitdem bereits wieder provisorisch für verschiedene Veranstaltungen genutzt. Seit August 2022 werden die Veranstaltungsräume vom Team des Bildungshauses St. Martin gastronomisch organisiert und betreut. Es wurden bereits einige Hochzeiten und Geburtstage gefeiert, auch Versammlungen, Konzerte, Tagungen und Kunstausstellungen fanden statt.
Für den Bonus notiere das Entstehungsjahr der Skulptur „…aus den Fugen“