柔遠樓為三層三檐歇山頂式結構,樓高17米。其樣式內城東門之上的光化樓完全一致。樓下即為內城西門,門額刻“柔遠”二字,意思是明王朝對邊陲(關外)各遊牧民族實行“懷柔”政策,安撫邊遠地區,以實現長治久安的治國方略。