Duivenvoorde is een buitenplaats met een statig kasteel in de vorm van een omgracht edelmanshuis en telt totaal 23 complexonderdelen. De bouw van buitenplaats was in 1631 gereed. Dit jaartal staat daarom boven de toegangsdeur. Maar het kasteel zoals we dat nu kennen was niet het eerste gebouw op deze plaats. Al in de eerste helft van de dertiende eeuw werd een versterkte middeleeuwse woontoren op de plaats van het huidige kasteel gebouwd. Het wordt al in 1226 genoemd en is een van de oudste kastelen van Zuid-Holland. Dat markeerde ook het begin van de historie van landgoed Duivenvoorde.
De buitenplaats is bijna achthonderd jaar bewoond geweest door achtereenvolgens de families Van Wassenaer, Steengracht en Schimmelpenninck van der Oye. Het huis is nooit verkocht en vererfde altijd via mannelijke óf vrouwelijke lijn.
Er is nu een museum gevestigd, en in het paviljoen voor het museum bevind zich een restaurant.