Pierwsza informacja o istnieniu w Brunowie dworu pochodzi z XV wieku. Prawdopodobnie była to budowla obronna zbliżona kształtem do zachowanych w okolicy wież mieszkalnych. Dwór w tym czasie należał do znanego śląskiego rodu Zedlitz.
W latach 1740 - 1750 właścicielem Brunowa został hrabia Bernhard von Schmettau. Wtedy dokonano przebudowy starego dworu zmieniając dawną budowlę w niewielki dwukondygnacyjny barokowy pałac na planie kwadratu. Trzydzieści siedem lat później właścicielem majatku stał się Krzysztof Henryk i Ernesta von Schweinitz. Po nabyciu majątku, w pałacu wybuchł pożar w czasie którego spłonęły wszystkie zabudowania. Na zgliszczach Schweinitzowie wznieśli nową neobarokową, dwukondygnacyjną rezydencję. Odbudowę powierzono dwóm śląskim architektom: Mahrensbergowi i Scholtzowi.
Kolejni właściciele pałacu to rodzina von Cottonet, która energiczne przystąpiła do rozbudowy założenia pałacowego w typowym dla XIX w. stylu historyzmu. Z tego okresu pochodzi stajnia z powozownią, fontanna przy pałacu oraz park zaprojektowany przez Eduarda Petzolda. Na szczytowej ścianie stajni tuż przy bramie wjazdowej umieszczono herb rodziny Cottonet.
Kolejną przebudowę przeprowadzono w latach 1900 - 1901, powstało wówczas skrzydło południowe pałacu wraz z oranżerią i ośmioboczną wieżą.
W latach 30. XX w. utworzono w pałacu szkołę sportową Hitlerjugend. Bezpośrednio po wojnie pałac ulegał stopniowej dewastacji. Obecnie stanowi własność prywatną mieści się w nim hotel z restauracją.
Kesz to pet ukryty w parku, w pobliżu najbardziej oddalonej od pałacu białej ławki.