Schloss Berbisdorf war ursprünglich eine mittelalterliche Wasserburg, der Buehl mit dem umlaufenden Rechteckgraben ist erhalten. Das Gut war Stammsitz der Herren von Berbisdorf, die durch den Freiberger Bergbau grosse und reiche Besitzungen erworben hatten und in allen Kreisen Sachsens belehnt waren. Die Herrschaft übte Erb- und Obergerichtsbarkeit aus.
Wahrscheinlich schon im 16. Jahrhundert wurde die mittelalterliche Wehranlage vom mit Renaissancegiebeln geschmückten Schloss, einer Dreiflügelanlage mit kleinem Innenhof überbaut. Barocke Ergänzungen gab es im 18. Jahrhundert sowie eine erneute Umgestaltung im 19. Jahrhundert. Aus der Dreiflügelanlage entstand ein rechteckiges Gebäude mit umlaufendem Walmdach. Der Turm auf der Ostseite wurde im Jahr 1898 hinzugefügt. Zwei eingeschossige Kavaliershäuser (das linksseitige inzwischen bis auf wenige Mauerreste abgerissen) flankieren die auf das Schloss zuführende Brücke. 1841 wurde eine kleine Kirche an den schon vorhandenen Turm angebaut und damit der vorher im Rittergut genutzte Kirchsaal ersetzt. Die vom Gutsherren seinerzeit nicht bezahlten restlichen Baukosten wurden im Folgejahr den Hofstellen des Dorfes auferlegt.
Seit der Wende steht das Schloss leer und der Verfall beginnt sichtbar zu werden, obwohl es angeblich Pläne der damaligen privaten Eigentuemer zur Erhaltung des Objektes in Form einer Eigentumswohnanlage gegeben haben soll. Zu sehen ist hiervon leider nichts. Seit 2010 wurde das Schloss unsaniert mit fragwüdigen Aussagen wie "Europas kleinstes Wasserschloss" oder "letztes unsaniertes Wasserschloss in Deutschland" blumig zum Kauf angepriesen - fuer 500.000,00 EUR, gefunden hatte sich offenbar niemand. Im März 2012 war die südwestliche Mauerecke des Schlosses eingestürzt, die Decken wurden zwar notduerftig abgestützt, aber die offenen Räume waren Wind und Wetter ausgesetzt. Das Medieninteresse (MDR, Sächsische Zeitung, Radeburger Anzeiger etc.) zu der Vernachlässigung dieses Baudenkmals war recht gross. Kurz danach haben die damaligen Eigentümer aus dem fernen Baden-Württemberg die erforderliche Notreparatur durchführen lassen.
Inzwischen wurde das Objekt durch einen Privatmann ersteigert, der die Anlage dem Vernehmen nach wohl zu Wohnzwecken nutzen will.
Für weitere Informationen zum Zilleradweg:
http://www.outdooractive.com/de/radtour/saechsisches-elbland/zille-radweg-von-der-elbe-nach-radeburg/8978329/#dmdtab=oax-tab1