Julemærkesalget der startede i 1904, indbragte kr. 67.000 og det blev senere besluttet, at pengene skulle bruges til at bygge et sanatorium for tuberkuloseramte børn.
Byggeriets budget var 600.000 kr., men det løb op i en million kroner. Dette skyldes meget store problemer med den bløde undergrund, og man var nødt til at skabe en mere stabil undergrund ved at pilotere.
Efter en del diskussion, blev grunden Luisehøj med omkringliggende bakker købt og bygningen blev opført i årene 1906 til 1911. Julemærkesanatoriet var det første julemærkesanatorium, som blev opført i Danmark. I 1917 og 1933 blev sanatoriet udvidet. De to nye bygninger, Fjordglimt og Granly, blev indrettet til de yngste børn.
Behandlingen af tuberkuloseramte børn forsatte frem til 1960, men var behovet var ikke længere aktuelt, da Danmark efterhånden havde fået udryddet sygdommen og stedet blev overtaget af Åndsvageforsorgen i Vejle Amt og lavet om til et behandlingssted for psykisk handicappede børn. Dette arbejde sluttede i 1983 og bygningerne stod tomme indtil Kolding Kommune solgte bygningerne til entrepenørfirmaet Isleff i 1987.
Firmaet istandsatte den fredede rokoko- og renæssanceinspirerede bygning, med hjælp fra arkitekterne Vilhelm Lauritzen og Jørgen Stærmose og hotellet kunne indvies i 1990. De omkringliggende bygninger,Fjordglimt og Granly, blev i 1999 indrettet til museet Dansk Sygeplejehistorisk Museum.