De eerste vermelding van een kasteel Duivenvoorde dateert al uit de 13e eeuw, maar het huidige kasteel is van recenter datum. In 1631 liet Johan van Wassenaar het huidige gebouw neerzetten als zomerverblijf. Tot 1960 is het in de familie gebleven, nu is het in bezit van een stichting die het kasteel moet behouden voor de toekomst.

In het interieur van het kasteel was de band met de stadhouders/koninklijke familie goed te zien in een speciale tentoonstelling.