Na terenie dzisiejszego Parku Modrzewie znajdowały się majątki Jeruzalem i Emuas, które istniały tam od czasów krzyżackich. W 1801 r. teren sąsiedni zakupił ostatni elbląski kat - Martin Sigismund Schesmer, który potem od jego nazwiska nazywano Okręgiem "Schesmershof". Na tym terenie znajdował Schlossberg, staropruski mur zamkowy. Późniejsza Schloßstrasse, która łączyła Ziesestrasse (Browarna) z Pangritzstrasse (Wiejska), przypominała czasy prehistoryczne aż do 1945 roku.
W 1873 roku Carl Ziese przyjechał do Elbląga, gdzie został zatrudniony w stoczni Ferdynanda Schichaua. W 1901 roku przejął po nim stocznię. Ziese posiadał małą willę przy ulicy Królewieckiej, która jednak nie była dostatetcznie reprezentacyjna. Nabył on więc majątek Schesmershof, a później Jeruzalem i Emuas (Lärchwalde nr 16) w celu budowy nowej willi. Budowę ukończono w 1903 roku. Do budynku była dobudowana oranżeria, w której hodowano różne gatunki roślin. Do domu Państwa Ziesów zapraszano wielu artystów, inżnierów i bankierów takich jak malarz Theodor Compton, pianistka Elly Ney, skrzypek Joseph Joachim. W kwietniu 1912 roku do willi przybył z wizytą król saksoński Fryderyk Augustt.
Po II wojnie swiatowej Pałac został zburzony i elementy zostały przetransportowane do Warszawy w celu odbudowy stolicy. Park teraz jest miejscem do wypoczynku i rekreacji dla Elblążan i nie tylko. W parku uchowały się jeszcze stare schody, czy wieża widokowa.