De oorspronkelijke houten versie van het kasteel dateert uit de 9e eeuw, maar werd in de 11e eeuw vervangen door een gebouw van, ook toen al, dure natuursteen door de rijke en belangrijke graven van Vlaanderen. Toen de Gentse burgers, rijk geworden door de wolhandel, ook stenen huizen gingen bouwen, werd deze imposante burcht gebouwd. Je moest tenslotte wel laten zien wie de rijkste en de machtigste is.

Tot in de 18e eeuw wordt het gebouw als gerechtshof gebruikt, inclusief ondergrondse kerkers en folterkamer. Daarna wordt het een industrieel complex, dus van het oorspronkelijke interieur is weinig meer over. Gelukkig wordt het niet gesloopt en kan het in het begin van de 20e eeuw door de gemeente gerestaureerd worden. Al bij de wereldtentoonstelling van 1913 zal het uitgroeien tot een echte toeristische trekpleister.