Jægerhyttens historie kan føres tilbage til midten af 1700-tallet, hvor den for første gang er tegnet ind på et kort over Eskemoseskov. Dengang hed den Herlighed og fungerede som kongelig jagthytte for Hircholm slot.
Det fortælles, at det var i disse vidunderlige omgivelser, at Caroline Matilde, Kong Christian VII´s dronning og Johan fr. Struense mødtes. Den romantiske, tragiske og dramatiske historie om kærligheden mellem den ensomme dronning og kongens læge og nærmeste rådgiver, endte med at Struense blev anklaget og dømt for højforræderi. Han blev halshugget og lagt på hjul og stejle på Valby fælled. Caroline Matilde blev sigtet for ægteskabsbrud og stod til samme straf. Men hendes bror, Kong Georg III af England, truede med krig, hvis dommen blev eksekveret. Hun blev i stedet landsforvist og døde tre år efter i celle i Nordtyskland..
Herefter blev hverken Hircholm slot eller hytten anvendt af de kongelige. da Christiansborg slot brændte i 1794, rev man Hircholm slot ned for at få materialer til genopbygningen. Eskemoseskov og hytten blev solgt fra til Eskemosegård, som ligger i nærheden. Hytten blev nu brugt som beboelse for polakker, som arbejdede på gården og siden som stald for kreaturer. Til sidst blev den forladt. En ruin glemt af alle, undtagen romantiske par, som sværmede i skoven.
I 1939 så slagter Germandsen mulighederne i stedet. Han lejede hytten af Niels porse, ejeren af Eskemosegård og indrettede det til et traktørsted. Jægerhytten har siden 1950 tilhørt Birkerød kommune. Der er blevet udvidet med et ekstra lokale og køkken og moderniseret, hvor det var nødvendigt.