Starejša literatura postavlja nastanek dvora v čas visokega srednjega veka in našteva celo gospode Jelške - Erlache, ki naj bi se omenjali med 1146 in 1335. Vendar srečamo Jelše v virih šele 1424 lot Erlach, v letih 1479 ia 1490 se tu izrecno omenja dvor- Hof, am Hof , okrog 1490 pa naletimo že na slovensko obliko imena Jelsche - Jelše. Dvor je bil sprva pač celjski fevd, nato pa deželnoknežji. 1635 so ga napadli in oplenili uporni kmetje. 1666 ga je spaj s tremi kmetijami dobil v zajem baron Žiga Gaisruck, ki ga je prezidal v dvorec in obenem precej povečal posest. 1695 je ob Jelšah zgorela pristava , škodo so ocenili na 1040 forintov. 1754 so k Jelšam sodili uradi Korpule, Jelše, Vojnik in Kostrivnica s skupno 165 podložnimi domačijami. Do 1799 so bile deželno knežlji fevd Gaisruckov, nato pa so bili razni lastniki: 1799 Anton Nagy, 1837 R. Novak, 1845 Rudolf Goedel, pred 1865 in še 1884 baron Goedel-Lannoy, 1887 pl. Artens. Do 1870 je bil v stavbi sedež deželnega sodišča. Pred zadnjo vojno je bil dvorec v posesti družbe Jelšingrad, ki se je ukvarjala z lesno trgovino. Do potresa 1974 še nekaj časa potem je bil v njem dom onemoglih. Potres ga je hudo poškodoval, tako da je sedaj opuščen in čaka na obnovo.
Ok. 1860 je stavbenik Franz Stichel po naročilu barona Goedel-Lannoya, c.kr. generalnega konzula, prezidal dvorec v orientalskem slogu, tako da so ga takrat prištevali med najlepše grajske stavbe na Štajerskem.
Reichert gaopisuje takole: Iz gostega, bujnega drevesnega rastja , ki je večidel eksotičnega značaja, že od daleč privabljajo graciozni minareti in mimo tega na kar najbolj bizaren način muslimansko versko znamenje, polmesec, da si jih popotnik pobliže ogleda. Ko se približa, ga pozdravi na zatrepu vzhodno za dve okenski širini izstopajočega srednjega grajskega trakta nameščen 5 čevljev visok, vznesen napis: Bismillah (Bog obvaruj) v obliki arabeske. Na trakt se prislanja oglat stolp z lepim kamnitim, po nekem vzorcu iz Kaira izdelanim pomolom, in na južnem delu stavbe krenelirani stolp, opremljen z nadzidki, za obešanje zastav. Tudi je del pritličja obdan z lepo verando, ki je povezana z jedilnico. Še bolj kot nadvse izvirna zunanjščina dvorca nas preseneti njegova notranjščina. Tu nas v prvem nadstropju sprejme prelepa dvorana v najčistejšem maverskem slogu z alabastrnimi, na stebrih počivajočimi loki ter nežnimi, mičnimi štukaturami po vzoru Alhambre. Stene v tej dvorani so okrašene z najfinejšim kitajskim pocelanskim priborom. Poleg te dvorane je treba kot posebno občudovanja vredno omeniti veliko orožno dvorano v novoturškem okusu s prav tako številno kot izbrano zbirko orientalskega orožja in mnogimi drugimi orientalskimi predmeti iz starih časov. Dalje je v dvorcu jedilnica v damaščanskem načinu z arabskimi loki in pozlačenimi napisi; damski boudoir, enak damskim izbam elegantnih konstantinopelskim haremov; velik altan z loki in kamnitimi ograjami v perzijskem slogu... Grajska kapela je narejena v bizantinskem okusu. Blago uglašen s slogom dvorca je prostrani, obdajajoči ga park, v katerem uspevajo poleg posrečeno sestavljenih drevesnih skupin najredkejše zemeljske rastline, med njimi liane, eylanthes in druge.
Besedilo in slike so povzete po knjigi dr. Ivana Stoparja: Grajske stavbe v vzhodni Sloveniji.