湘山寺为遵义佛协所在地，湘江从寺前穿越而过。现在的湘山寺山门是后改的，与老山门不但位置不同，连朝向都不同。原来的老山门现在已经成为文物被圈在寺内。之所以改建山门，可能是因为寺院扩建满足信徒需求。
改建后的湘山寺，山门实际就是一座牌坊。一进山门就是悬崖峭壁，不过经过改建，已经成为一堵石雕墙。从墙后拾级而上，便是一塘池水，观音石像宛立水中。仰望观音，一股敬仰爱戴之心油然而生。
再拾级而上，曲径通幽，如钻迷宫。经过左绕右穿，再登阶而上便来到天王殿前。越过天王殿，眼前忽然开朗，正前方为大雄宝殿，左侧有老山门、法堂等；右侧有望江楼、斋堂。再向后走有圆通殿、伽蓝殿、卧佛殿等建筑。寺后左侧还有观音碑亭、塔园等。
从目前的建筑看，历史上湘山寺遭破坏严重，旧物所剩无几。除了老山门、塔林与观音碑外，其他可能皆为新建。
湘山寺因受地理环境局限，占地不大，不过建于悬崖峭壁之上，风景独佳。特别是寺内的山门、石雕墙、观音像等，从石料材质、雕刻手法与雕刻风格看，其产地极像是来自远方数千里之外的福建。卧佛殿内的白玉卧佛造型优美，工艺精湛，就连佛龛都非常精美，遗憾的是殿内空空荡荡，显得十分寂寥，若是两旁白墙上绘以佛陀弟子、娑罗树等壁画，一定会增色不少。
寺内的对联、匾额的题词不少出自当代名家。大雄宝殿与圆通殿前的两幅对联，为赵朴老所题；山门和另一处匾额“人间净土”为虞愚教授所题。这都是相信法师的功劳啊。当年还是中国佛学院学僧的相信法师，请了这二位大家为湘山寺题词，而且朴老为湘山寺题词两次实属难得。现在全国很多寺院大雄宝殿的匾额都为朴老所题，不过千篇一律，因为那是同一版本所出。认识虞愚教授的人可能不多，但去过厦门南普陀寺的人应该对南普陀寺山门外的牌坊有所印象，那牌坊上的对联即为虞愚教授所书。
