在余姚人的印象里，这鼓楼喊得不是那么顺口。宁波有鼓楼是众所周知的事情，但这余姚竟然也有鼓楼？
人世短暂怎比岁月长流，能静观其变者自然不在少数。十里南雷路(旧称江南直街)靠北一端，通济桥再往北，沿着石阶走，迎面便是一座高耸的城楼，这就是舜江楼。
舜江楼坐北朝南，三间二弄，通面阔13.3米，通进深6.9米，建筑面积130平方米。台基东西各筑如意踏跺上下，南北各筑女儿墙，四周有走廊环绕着楼，重檐两层歇山顶，飞檐翘角，若鹏展翅，正脊两端高耸，中央嵌有一面金光灿灿的大铜镜。
元皇庆年间(1312-1313)，余姚州判叶桓，在齐宣门东城上设计建楼，以舜江楼命名。
至元元年(1335)，正值承宣亭火灾，叶桓即于该址建谯楼（古代城门上建造的用以高望的楼），楼上设置制“刻漏甚精”（刻漏为古时的计时器），为当时的钟鼓报时和报警的谯楼。据说敲一下为东，二下为南，这样东南西北中依次类推，就能清楚地表明了目标的方向。又因为每到下雨之时，水滴刻漏会发出“咚咚”之声，所以又名为鼓楼。
明代陶安有诗云：“与客闲片时，登楼爱奇观。凭栏出树杪，振衣在天半。诸峰绕城邑，万室夹江岸……”舜江楼立在5米多高的城墙之上，这段城墙是目前余姚仅存的一段古城墙，很是珍贵。楼与城墙连作一体，是余姚古朴的历史风貌最好象征。
明代嘉靖年间，倭寇劫掠余姚频繁，舜江楼就成为控倭西进的制高点。余姚军民用强弩利箭射杀倭寇，并经常与倭船交战于通济桥两侧的江面上。利用舜江楼居高临下有利的地理位置顽强抵抗。有一次战斗失利，舜江楼被倭寇占领，被其纵火焚毁。
明万历年间，知县马从龙重建舜江楼，为阻挡倭寇西进，在楼上添置了一大铜钟、一大皮鼓和一云板，一遇倭寇来犯，即刻敲响铜钟报警，军民发兵出击，擂鼓来协同作战，得胜后就敲动云板奏得胜令。
清光绪十一年（1885），舜江楼又3毁3建，重修后更铸大铜钟，兼作报时和火灾报警之用。
1984年2月25日凌晨，舜江楼被一精神病患者烧毁，按明代原样重建，于年底竣工。重建后，由书法家沙孟海题了“舜江楼”匾额。1995年4月，舜江楼被中共余姚市委、余姚市人民政府命名为余姚市首批爱国主义教育基地之一。2011年被列入浙江省文物保护单位。
作为城楼扼守姚城地理地势要冲，舜江楼是古代余姚城的重要门户，具有十分重要的战略地位。抛开历史的身份，舜江楼本身又自带这一种建筑的美感，是在余姚古建筑中采用官式做法的突出一例，具有重要的建筑学价值。
现在余姚人说的鼓楼区域，大抵就是通济桥与舜江楼之间往东到念慈桥姚江北岸为止。这一路建筑延续着舜江楼古朴的建筑风格，与江景交相辉映，韵味十足。
“山郭遗风忆有虞，江楼落日渺苍悟。”，舜江楼还将继续屹立在姚江边，守护者世世代代的余姚人，同时留存着余姚的历史变迁，见证余姚的现在，遥望着余姚的未来。
