Klasycystyczny pałac wraz z dwiema oficynami położony jest na wysokim brzegu rzeki Bug z widokiem na rozległe łąki i rozlewiska, w otoczeniu pięknego zabytkowego parku. Z dekoracji wnętrz zachowały się polichromie Jana Bogumiła Plerscha, dekoracje stiukowe, kominki piaskowcowe, piec z barwnych kafli herbowych wykonanych w manufakturze nieborowskiej w roku 1880. Całość skomponowana w duchu klasycyzmu.
Wzniesiony został ok. 1780 r. prawdopodobnie według projektu architekta Szymona Bogumiła Zuga Jana Chrystiana Kamsetzera dla biskupa inflanckiego Jana Giedroycia. Następnie kupiła go rodzina Morzkowskich.
Do poety Michała Morzkowskiego przyjeżdżali m.in. wybitni poeci późnego romantyzmu Cyprian Kamil Norwid i Teofil Lenartowicz. W latach 40. XIX w. pałacu często spotykała się cyganeria warszawska.
W 1879 r. właścicielami pałacu stała się rodzina Skarżyńskich z Popowa. Na przełomie XIX i XX w. miała miejsce przebudowa, której pałac zawdzięcza swój dzisiejszy kształt. W czasie wojny polsko-bolszewickiej Skarzyńscy przyjmowali tu uchodźców z kresów wschodnich, z terenów zajętych przez Armię Czerwoną. W latach 30. XX w. prowadzili w pałacu modny pensjonat, w którym bawiła śmietanka towarzyska Warszawy. W 1941 r. Niemcy zmusili skarżyskich do opuszczenia Wyszkowa.
Po 1945 r. pałac przeszedł w posiadanie Ministerstwa Zdrowia i pełnił kolejno różne funkcje. Od 1948 r. mieścił się w nim zakład wychowawczy, następnie zakład higieny psychicznej, a w latach 1953–1980 Państwowy Zespół Sanatoriów Psychiatrii Dziecięcej.
Później pałac popadał w ruinę. Po 1989 r. przeszedł w posiadanie Stowarzyszenia Architektów Polskich, które podjęło remont, jednak został on przerwany w 1992 r. Pałac znowu niszczał. W końcu kilka lat temu prywatny właściciel zrewitalizował zespół pałacowy oraz otaczający go park. Miało w nim powstać centrum konferencyjno-kongresowe, ale od kilku lat nic się w pałacu nie mieści. Teren jest niedostępny, budynki można zobaczyć tylko zza ogrodzenia.
Skrytka jest elementem serii Mazowsze Norwida. Pozostałe skrytki z serii to:
Dworek w Głuchach GC5Q13W http://coord.info/ GC5Q13W
Kościół w Dąbrówce GC5PZ8C http://coord.info/GC5PZ8C
Pałac w Dębinkach GC5Q166 http://coord.info/GC5Q166
