W Zastrużu już w czternastym stuleciu znajdował się dwór będący siedzibą zarządcy majątku. Po 1532 roku stał się własnością rycerskiego rodu von Schindel. Na początku lat 90-tych XVI wieku z inicjatywy Jona von Schindel budowla została przebudowana w stylu renesansowym. Do odnowionego i powiększonego korpusu starego dworu dobudowano wówczas skrzydło południowe. W pierwszej połowie XVII wieku wzniesione zostało drugie skrzydło założenia pałacowego, również utrzymane w stylu renesansowym. Okres rozbojów, grabieży i działań zbrojnych w toku wojny trzydziestoletniej 1618-48, obrócił okazały kompleks pałacowy w grożącą zawaleniem ruinę. Około 1695 r. za sprawą klasztoru krzeszowskiego ruszyła odbudowa zniszczonej budowli, która pochłonęła 12000 talarów. Podwyższono wówczas fasadę północnego skrzydła pałacu nadając jej barokowy wystrój. Na przełomie XVII/XVIII w. lub w latach 40-tych XVIII w. do fasady dodano wieżyczkę zegarową. W latach 50-tych XVIII w. pałac został poddany gruntownej restauracji. Przebudowano częściowo wnętrza i wieżę. Po przebudowie kompleks pałacowy spełniał kilka funkcji. Przede wszystkim był rezydencją opatów krzeszowskich, w którym wypoczywali, podejmowali ważnych gości, konferowali, ale również miejscem 4 dniowego wypoczynku zakonników krzeszowskich i siedzibą władz administracyjnych kurii majątkowej Zastruże – Kruków – Gościsław. Po 1810 r. pałac stał się letnią rezydencją nowych świeckich właścicieli Zastruża. W 1812 r. przeprowadzono remont, który przystosował obiekt do nowej roli. Pod koniec XIX wieku stan techniczny pałacu znacznie się pogorszył. W 1910 r. nowy właściciel Zastruża Euglen von Kulmiz przeprowadził remont, w trakcie którego rozebrano zniszczoną wieżyczkę zegarową. Przekształcono układ wnętrz na piętrze i częściowo parteru, modernizując je pod kątem pełnienia funkcji mieszkalnych. W latach 30-tych XX w. odnowione zostały sale pałacowe. Budowla była wówczas murowanym z kamienia i cegły, dwukondygnacyjnym (dawniej 3 kondygnacje) pałacem, założonym na planie litery „C”, który pokrywał czterospadowy dach o poszyciu ceramicznym. Od wschodu niewielki wewnętrzny dziedziniec zamykała bryła kościoła, łącząc skrzydło północne pałacu z południowym. Stylowo obiekt stanowił mieszankę renesansu z barokiem i wprowadzonych w trakcie XX-wiecznych remontów elementów historyzujących. W trakcie działań wojennych w 1945 r. pałac nie został uszkodzony, ale zdewastowano wnętrza i rozgrabiono wyposażenie. Po przejęciu obiektu przez władze polskie, dyrekcja PGR nie znalazła pomysłu na jego zagospodarowanie. Proces niszczenia przebiegał bardzo szybko. W latach 50-tych XX w. rozebrano dach i piętro, natomiast parter użytkowano jako magazyn do połowy lat 60-tych, kiedy zawaliły się stropy. Do lat 90-tych z budowli przetrwały jedynie fragmenty murów. W chwili obecnej z rezydencji pozostały przede wszystkim mury obwodowe i część ścianek działowych. Elewacje zachowały ślady podziałów i zdobień renesansowymi i barokowymi detalami: boniowane lizeny, pilastry, obramowania wokół części otworów okiennych, portal głównego wejścia. Obok ruin pałacu stoi użytkowany kościół. Do zabudowań przylega zaniedbany park, założony w miejscu osiemnastowiecznych ogrodów.
Ciekawostką jest fakt, że pałac (tzn. ruiny) nie został wpisany do rejestru zabytków, natomiast praktycznie nieistniejący park w tymże rejestrze występuje...
Tak prezentował się pałac na początku XX wieku:
A dzisiaj możemy podziwiać jedynie to:
Kesz został ukryty raczej z brzegu - nie trzeba buszować po całym terenie. Jeżeli ktoś ma ochotę na zwiedzenie całości pozostałości, może to zrobić na własną odpowiedzialność. Kesz to mały pojemnik na starcie zawierający logbook, ołówek, temperówkę oraz fanty na wymianę i certyfikaty dla kilku najszybszych odkrywców.