伯爵城堡始建於1180年,因為城堡建造者弗蘭德伯爵參加過第二次十字軍東征,所以城堡是按照十字軍城堡的模樣修建的。城堡在漫長的歷史中經歷複雜,在14世紀時被改做監獄和法院。19世紀末差點被拆除。1885年被根特市政府買下並把城堡修復到原來的狀態,如今是城堡博物館。在外形與風格上,伯爵城堡與英倫三島的古城堡很像,肅穆高大,很中世紀很陰冷,而不像法國城堡那樣浪漫唯美。