古堡由威廉凱利史密斯於1915年策劃和興建,城堡氣勢非凡,六層高樓巍峨聳立,羅馬式立柱及摩里西斯式拱門豪華靚麗,內部設有莊嚴的圓柱及奢華的酒窖,古堡里甚至設置了馬來西亞第一部電梯。然而,這座城堡卻並沒有建成。第一次世界大戰後,威廉下令在古堡附近興建一座印度廟,並以隧道貫穿兩座建築。但是,在建築完成之前,威廉就去世了,工程因此擱置。自此,古堡淪為鬼屋,流傳各種詭異傳說,直到近年,當地政府清理后開放給有膽量的遊客去探險。古堡中有很多秘室和秘密地道,而通往古堡的道路順着地形輪廓呈現出迷宮式的通路,使這個地方更增添神秘和浪漫的色彩。當地人表示,關於凱利古堡的鬼故事傳聞不斷,但獨特的建築外觀連馬來西亞人都喜歡在白天時到此参觀、拍照取景。