常熟西城楼阁是从南朝梁代开始修建的历经1500年，是古城西门里与城墙、阜城门毗邻，在明嘉靖时期，是虞山城墙修复工程中重要组成部分，至清朝末期，西城楼阁已形成一个很大的建筑群，有致道观、大石山房、东岳庙、严氏读书馆、阜城门、牌坊……后遭战火破坏。今天看到的西城门楼是沿用原址上部分建筑修建的一座园林。