美利楼建于1844年，属于域多利兵房的一部份，主要用作英军的军营。到了香港日治时期，这座建筑物被日军用作「日本宪兵部办事处」及「日本军事统师部」，还设有很多囚犯室及用作刑场，当中被杀者据称超过四千多人，堪称医院外死人最多的建筑物。第二次世界大战结束后，美利楼曾被多个香港政府部门作为办公室。1975年至1982年期间，美利楼成为了香港差饷物业估价处的总部。

1960年至1970年代，美利楼频频传出闹鬼之事，港英政府期间不单请了牧师和神父在大楼内驱鬼，又使用佛教超渡仪式来把怨气净化，希望能安抚人心，由于政府需动用公饷做法事，因此存有相关档案纪录。

1982年，因应香港中银大厦的建筑工程，美利楼需要被拆卸。但由于其历史价值，香港政府决定将这座建筑物完整保留及迁至他处。分拆出来的超过3000件建筑物料被妥善纪录及储存。1990年，香港房屋委员会决定将美利楼搬迁至赤柱。整座建筑物于1998年重建完成，并于1999年重新开幕。