哈利城堡是丹斯默家族的產業，丹斯默家族在卑詩省歷史上留下了太多的痕跡，不僅是維多利亞留下的莊園、城堡，甚至在溫哥華Downton市中心，有一條重要的街道，Dunsmuir Street，就是以這個家族命名。翻開卑詩省的歷史，歷任的卑詩省議員、總理、抑或省長的名冊中，都能找到這個家族的成員。 古堡建在面向海濱的山坡上。這裡任何時候都異常寧靜，遠處能看到雪山，白雲像腰帶一樣繞在山間。1940年到1995年間，哈利城堡曾經是皇家軍事學院的所在地。城堡一層的房間陳列著軍官制服、軍事用品和學生照片。現在已轉型為皇家管理學院，城堡為行政辦公室所佔用。