Pierwsze wzmianki o terenach legnickiego parku datowane są na początek XIV wieku. Wówczas stanowiły one rozległe łąki. Przez kolejne wieki stopniowo były przekształcane w tereny parkowo-ogrodowe. Powstawały aleje spacerowe, staw przystosowany do przejażdżek gondolami oraz liczne kawiarnie i gospody. Największy rozwój parku rozpoczął się od 1880 roku i trwał nieprzerwanie aż do II wojny światowej. Działo się to za sprawą wystaw ogrodniczych. Część eksponowanych tam budowli, roślin i urządzeń pozostawała na stałe w parku.
Gaj Muz z cieplarnią i rozarium stanowił przedłużenie wybudowanej w 1885 roku Palmiarni i w okresie letnim wystawiano w nim egzotyczne rośliny. Początkowo tę część parku nazywano Musenhain _ Gaj Bananowców, pyszniły się tutaj bowiem bananowce.
W 1910 roku, po Niemieckiej Wystawie Róż i Dalii wybudowano okazałą pergolę ze schodami i sadzawkę o powierzchni 800 m2 z podgrzewaną wodą. Hodowano tam egzotyczne rybki i rośliny. Można było podziwiać okazy wiktorii królewskiej, grzybienie w różnych formach i kolorach oraz lotosy. Wokół stawu rosły natomiast bambusy i trzcina cukrowa.
To urokliwe i romantyczne miejsce zaczęło niszczeć po drugiej wojnie światowej. Wysiedlani Niemcy zdemontowali większość urządzeń wystawowych, a Wojska Radzieckie dokonały zniszczenia. Park stał się miejscem niebezpiecznym i zaniedbanym. Gaj Muz stracił dawny urok i mało kto zapuszczał się w te rejony. Zarośnięty, z obdartymi kolumnami pergoli, nie zachęcał do odwiedzenia. Jednym z tragiczniejszych momentów w dziejach parku była powódź w 1997 roku. Wezbrane wody Kaczawy zalały znaczne obszary Legnicy i parku usytuowanego nad brzegiem rzeki. Wysoka woda i szlam popowodziowy zniszczyły większość szaty roślinnej parku, a w tym Gaju Muz. Wyginęły wtedy cenne, rzadkie i bardzo wrażliwe byliny i krzewy. Kolejnym ciosem był huragan w 2009 roku. Zniszczył on ok 2500 drzew w tym ok. 1000 o najwyższej wartości kulturowej. Na szczęście już 2 lata po huraganie zakończono rewitalizację parku, z zachowaniem dziewiętnastowiecznej stylistyki. Gaj Muz wiele zyskał przez te lata. Odnowiono zabytkową altanę, której białe kolumny przeglądają się w stawie, zwanym obecnie "Żabim Dołkiem".
Co prawda nie ma już podgrzewanej wody, ani nie zasiedlają go egzotyczne rybki i rośliny, ale jest obsadzony sezonowymi roślinami, które kwitną od maja do listopada.
