Historia pałacu w Górze zaczęła się, kiedy ok 1780 ówczesny właściciel tych dóbr bratanek króla, książe Stanisław Poniatowski wzniósł tam swoją letnią rezydencję. Sam pałac zaprojektowany został zapewne przez Stanisława Zawadzkiego. Polichromią wnętrze zdobił Szymon Mańkowski. Pałac zaprojektowany na planie prostokąta, pośrodku umieścił architekt reprezentacyjną, ośmioboczną salę balową o wysokości dwóch kondygnacji. Na piętrze były pomieszczenia mieszkalne. Z okien rozpościerał się widok na dolinę narwiańską. Ogromne oszklone drzwi wiodły do ogrodu, który miał charakter parku krajobrazowego w stylu angielskim. Ku pałacowi wiodła aleja dojazdowa, obsadzona lipami. Resztki jej rosną nadal. Pałac był budowlą okazałą i książę zapraszał do niej ludzi znanych w tamtej epoce tworząc spotkania konkurencyjne do obiadów czwartkowych u króla. Bywali tu: książę, biskup warmiński, poeta Ignacy Krasicki, poeta Stanisław Trembecki, współtwórca legionów Józef Wybicki i malarz Zygmunt Vogel, który zostawił nam najstarszy znany nam dziś widok tej rezydencji utrwalony w 1801 r. na akwareli pt „Widok pałacu w Górze od strony rzeki”.
III rozbiór Rzeczypospolitej w roku 1795 zmusił księcia do sprzedaży dóbr Góra Ludwikowi Szymonowi Gutakowskiemu, który początkowo był szambelanem, a później prezesem Senatu Księstwa Warszawskiego, a także prezesem Towarzystwa Gospodarczo-Rolnego. Jego ideałem było stworzenie wzorcowego gospodarstwa. Także i w tym okresie salony pałacu w Górze gościły wiele osobistości. Syn Ludwika – Wacław stworzył tu kolekcję dzieł malarskich. W roku 1827 majątek liczył 26 domów i 305 mieszkańców. W roku 1839 dobra upaństwowiono. Góra stała się majątkiem rządowym, sukcesywnie powiększanym. W roku 1865 składały się nań m.in. folwark Góra, wsie: Krubin, Olszewnica, Janówek, Suchocin, Skierdy. Skonfiskowany przez carat majątek przeznaczony został przez rząd rosyjski na siedzibę prawosławnych archierejów. Do wybuchu I wojny światowej nad wejściem do pałacu widniał prawosławny krzyż. Około 1888 roku pałac częściowo przebudowano, przekształcając układ wnętrz i obniżając dach. Niestety, strategiczne położenie Góry, blisko Twierdzy Modlin i licznych fortów naraziło pałac na bombardowanie w 1915 r. Po I wojnie budynek odbudowano i odrestaurowano z przeznaczeniem na Szkołę Rolniczą Żeńską. Utworzono ją w 1933 r. pod kierownictwem Ireny Ciborowskiej, a funkcjonowała ona do roku 1939.
Działania II wojny światowej także nie oszczędziły dawnej rezydencji Poniatowskiego. We wrześniu 1939 r. pałac uległ spaleniu, a w roku 1944 zbombardowaniu. Po II wojnie światowej obiekt zajął Zakład Doświadczalny Polskiej Akademii Nauk i niestety pałac, który początkowo nadawał się do odbudowy (jak wskazują fotografie sprzed kilkudziesięciu lat) stał się dziś malowniczą ruiną. ( Zdjęcie z 2009 roku )
Zabytkami, który zachowały się do dzisiaj są: spichlerz z przełomu XVIII i XIX wieku i znajdująca się obok ruin klasycystyczna oficyna z XVIII w.