De aanleg van de buitenplaats moet ergens tussen 1750 en 1840 hebben plaatsgevonden. Hendrik Kuipert van Meerdervoort was rond 1840 eigenaar van de buitenplaats. Via vererving kwam het in 1890 in handen van jonkvrouwe C.J.J.W. van den Santheuvel van Hoogeveen en haar echtgenoot W.R.A.C. graaf van Rechteren Limpurg, die het nog bestaande huis in 1891 liet bouwen. Het huis werd gebouwd door de architect A.L. van Gendt en is geïnspireerd op de Franse renaissance.
De grafelijke bewoning was van korte duur. Al in 1895 verhuisden zij naar hun villa in het Scheveningse Van Stolkpark (Villa Banchory). De Rozenhof werd voor ƒ 230.000 verkocht aan de Levensverzekering Maatschappij Dordrecht, die in het huis haar kantoor vestigde.
Het terrein van de buitenplaats werd direct door de nieuwe eigenaresse verkaveld voor woningbouw. Tot 1912 werd in fases een aaneengesloten rij woningen neergezet aan de rand van het plein rondom het huis. In 1917 verhuisde de maatschappij naar een groter kantoorpand op het terrein van de belendende voormalige buitenplaats Bellevue. Het Rijk kocht in 1940 het gebouw aan. Van 1917 tot 1977 was de belastingdienst er gevestigd en van 1977 tot 1990 deelden de Huurcommissie en Rijkswaterstaat het gebouw. Vanaf 1991 is het een verzamelgebouw dat verschillende bedrijven herbergt.