Pieter van Leyden van Leeuwen, baljuw en dijkgraaf van o.a. Den Briel, bouwde het herenhuis hier in de eerste helft van de 17e eeuw. Hij hertrouwde na de dood van zijn vrouw met een dochter van mr. Bernhard van Crompvliet, en het is waarschijnlijk dat Pieter van Leyden zich door de achternaam van schoonvader heeft laten inspireren. Zo komt het Huis Cromvliet, en de omliggende wijk, dus aan zijn naam.
Het landgoed is lange tijd in bezit geweest van het aanzienlijke regentengeslacht Van Leyden van Leeuwen, maar in 1759 is de buitenplaats verkocht aan Hendrik Caen, oud-schepen van Rotterdam, die ook de grond van het aansluitende voormalige Vijverstein kocht. Hij verfraaide de buitenplaats aanzienlijk met uitgestrekte tuinen met vijvers, paden, bosjes en een theekoepel langs de Trekvliet. Tot het begin van de 20e eeuw werd het buiten bewoond door afstammelingen van Caan, waaronder de burgemeester van Rijswijk van 1850 tot 1871 mr. Jan Hendrik Caan van Neck. Naar hem is ook een straat hier vernoemd.
In 1925 werd het grootste deel van het terrein opgekocht door bouwondernemers en werd er een woonwijk met dezelfde naam aangelegd. Het landhuis met erom heen een park bleef behouden, dankzij de gemeente Den Haag, die het kocht ten behoeve van een kleuterschool. Na de Tweede Wereldoorlog werd het gebouw tot 1985 gebruikt als inrichting voor demente bejaarden. In 1994 werd het 17e-eeuwse herenhuis gerestaureerd. In de tuin bevindt zich nog een in 2009 door de gemeente gerestaureerde slangenmuur die gebruikt werd om warmteminnende vruchtstruiken tegen te laten groeien. Tegenwoordig is het huis verdeeld in appartementen.
De straat en groenstrook langs de trekvliet zijn trouwens sinds 2001 Haags grondgebied (en vormen een verbinding tussen Den Haag zelf en de buitenwijken Ypenburg en Leidschenveen).
