三大战役结束之后，国民党主力部队大部分都已经被解放军消灭，只有第54军是唯一一支没有被完全解决的美械部队，也是唯一一支同时参加过淮海战役和辽沈战役的部队。第54军之所以没有被解放军消灭，除了这支部队的战斗力比较强之外，运气也是一个非常重要的因素。

第54军在参加完淮海战后由淮北撤至南京地区，进行休整补充。此时的第54军下辖第8师、第198师和暂编第57师，暂编第57师由辽西地方武装改编而成，在辽沈战役是隶属该军，因此战斗力相对较差。

1948年底，国民党为了保住剩下的半壁江山，任命汤恩伯为京沪警备司令协同华中的白崇禧集团组织长江防御。由于当时汤恩伯手里兵力严重不足，名义上拥有75个师共45万人，其中大部分都是战斗力比较差的部队，因此只能摆一个一字长蛇阵，把所有的部队都沿着长江一字排开，唯一的一支机动部队就是还有一定战斗力的第54军。

在渡江战役开始前的1949年4月18日，汤恩伯鉴于第51军兵力单薄，且军心不稳，命令第54军接替第51军的防区。第54军军长阙汉骞在接到命令后，灵活配置部队，只把第8师一个师安排在第一线，剩下的第198师和暂编第57师都安排在第二线，一旦第8师的阵地被突破，就立刻增援上去。

但随着4月20日解放军正式发起渡江战役，解放军东集团也在21日渡过长江，第54军第8师的阵地还没有布置妥当，战斗就已经开始了。根据时任第8师师长施有仁回忆，由于我党的地下武装力量十分强大，在战斗一开始，第8师各部的电话线就被切断了，致使该师的指挥系统瘫痪。

以此同时，位于第54军右翼的江阴要塞国民党军守军宣布战场起义，第8师的阵地随即就被解放军突破。当天夜里，第54军长阙汉骞命令暂编第57师组织一次反击。经过一夜的激战，暂编第57师的师长阵亡，副师长负伤，下面的三个团也全部遭受重创。

4月22日，国民党长江防线全线被突破，大势已去。第54军作为国民党军队的王牌部队，撤退比较有序，三个师交替掩护向南撤退，因此损失较小。当时布置在长江沿线的，除了刘汝明的第八兵团三个军不战而退没有被歼灭外，只有第54军是经过战斗还能够相对完整撤出来的部队，其余的各军不是全军覆没就是大部被歼。