Mit einem in einer Waldsassener Urkunde als Zeuge auftretenden Meino de brande werden der Ort und die Adelsfamilie von Brand zum ersten Mal bezeugt. Dabei standen die Brander ursprünglich wohl in Abhängigkeit von den Herren von Liebenstein. Nach deren Aussterben 1291 findet sich Brand in den Händen der Notthafft und Paulsdorfer, die ihrerseits wieder die Brander damit belehnten.
Im Egerer Landsteuerbuch von 1392 ist Prant noch unter den zum Egerland gehörenden Orten aufgelistet. 1414 findet sich dann "Prannt das dorff mit gesessen vnd kirchen, on des Erhart Prantners teyl" in einem Verzeichnis der Güter, die Burggraf Johann III. von Nürnberg dem Egerland entzogen hatte. Zwar versprach der Burggraf, den Egerern verschiedene Güter, darunter auch Brand, wieder zurückzugeben, doch blieb Brand auch weiterhin im hohenzollerischen Territorium und wurde dem Richteramt Arzberg einverleibt. Dem Wortlaut einer Klageschrift von 1414 folgend, wo im Plural von gesessen gesprochen wird, muss es damals mehrere Edelsitze vielleicht schon wie 1499 drei gegeben haben, die innerhalb des Schlossgutes beieinander lagen. Bewohnt wurden die Sitze damals von Erhard Brantner und dessen Onkel Berthold Brantner. Offensichtlich hatte sich Berthold Brantner im beginnenden 15. Jahrhundert dem Burggrafen Johann III. unterstellt.
1441 trugen die Söhne des Berthold Brantner, Nickel und Hans, ihren gesamten Besitz in Brand dem Markgrafen Johann Alchymista zu Lehen auf, wodurch sich ein Streit mit den Notthafften zum Weißenstein entwickelte, der über Generationen hinweg, bis zum Jahr 1625 schwelte, als ein Schiedsgericht feststellte, dass das ganze Gut Brand unter der Lehensherrschaft der Familie Notthafft stünde. In diesen Streit war auch der berühmte Komponist Jobst von Brandt involviert, der das Schloss Brand bewohnte und hier sein Spätwerk schuf.
In den Händen der Familie von Brand blieb ihr namensgebender Stammsitz bis nach dem Dreißigjährigen Krieg. 1662 verkaufte die Witwe Hans Wilhelm von Brand ihren Besitz an Georg Christoph Renner. Die restlichen Anteile veräußerte Hans Wolff von Brand 1682 an Wolf Adolph Marschall. Am 19. April 1690 vernichtete ein Brand die bisherigen Schlossgebäude, doch schon im nächsten Jahr konnte man auf dem wiederaufgebauten Schloss Richtfest feiern.
Das 18. Jahrhundert brachte eine Reihe schnell wechselnder Schlossbesitzer. Die Lehensherrschaft der Familie Notthafft über das Rittergut bestand bis in das 19. Jahrhundert. Am 29. Mai 1801 folgte auf Antrag des damaligen Besitzers Christian Freiherr von Lindenfels die Aufhebung des Lehensverbandes. 1864 bis 1884 ist der Fabrikant Hans Max Philipp von Beust Eigentümer des Schlosses. Der letzte adelige Besitzer des Gutes war Albert Evan Edwin