Huset blev opført i 1902 som garnisons-sygehus for 4. Dragonregiment, der indtil da brugte Helligåndshuset som sygehus. Forhuset er opført som egentligt sygehus, mens den mindre bygning for enden af trappen op mod Grønnegade Kaserne er bygget som epidemi-afdeling og lighus.
4. Dragonregiment blev nedlagt i 1923 men sygehuset først nedlagt i 1934, hvor det blev ombygget til officersboliger, og lighuset blev indrettet til infirmeri.
Huset er nu bl.a. hudplejeklinik og kosmetologskole, lighuset på toppen af bakken bruges til oplagsplads og magasiner for Næstved Kommune, bl.a. til skøjtebanen der er på Høje Plads om vinteren.