Bażantarnia stała się miejscem masowego wypoczynku elblążan na początku XVIII wieku. Wtedy to, mieszkańcy nazywali ją Vogelsang (niem. Ptasi śpiew). Początkowo podzielona była na dwa obszary – chroniony i użytkowy, dzięki czemu poza funkcją rekreacyjną, las pełnił także zaplecze gospodarcze ówczesnego Elbląga. W latach 1810–1811 August Abbeg wybudował karczmę, która funkcjonuje dziś jako Restauracja Myśliwska. Druga restauracja (pod nazwą Thumberg) powstała po latach na Górze Chrobrego (Krucza), jednak w latach 50. XX wieku została ostatecznie rozebrana. W 1913 park zostały włączony w granice administracyjne miasta.
Wraz z objęciem przez elbląski magistrat opieki nad parkiem, pojawiło się w nim wiele nowych obiektów użyteczności publicznej. Wybudowano nowe mostki, oznakowano trasy piesze oraz powstały tak charakterystyczne budowle jak muszla koncertowa, Parasol, czy wieża widokowa, zwana Wieżą Bismarcka (rozebrana po wojnie). Po zakończeniu II wojny światowej i włączeniu Elbląga w granice Polski, nowi mieszkańcy nazwali park Bażantarnią, ze względu na mnogość tego ptactwa w lesie. Jeszcze w latach 90. XX wieku można było się natknąć w parku na liczne bażanty.