Vanwege de strategische ligging van de plaats, aan zee en de monding van de Orne, besloten Willem en Mathilde Caen hun belangrijkste residentie te maken. Ze bouwden er rond 1060, voorafgaand aan de verovering van Engeland, een kasteel.

Het kasteel, met een enorme oppervlakte in het ceentrum van Caen gelegen, werd ook voor opvolgende hertogen en Engelse koningen een favoriete verblijfplaats. Het is talloze keren verbouwd en aangepast aan de eisen van de tijd, met een kerk, een nieuwe residentie, een grote zaal voor bijeenkomsten.

Ook werd het kasteel, oorspronkelijk vooral bedoeld als verblijfplaats, in defensief opzicht versterkt met een donjon, een extra versterkte burcht binnen de versterkte kasteelmuren.