1947年3月27日下午，刘昌毅所部与中共皖西工委书记桂林栖带领的皖西游击大队在潜山县大佛寺会师。经桂建议，刘部转移到潜山县后冲休整。

在后冲，刘昌毅主持召开了领导干部联席会议。双方介绍了情况，研究了坚持和发展统西革命斗争的若干问题。

当时，由鄂西北转战到皖西的部队，有二个大队（各有三个建制连）、三个直属连、一个干部队。一大队由3旅7团组成；二大队由警卫部队及其他部队混编组成。这支部队共有940余人，其中干部约200人（张力雄、张秀龙、汪乃贵等5名旅级干部），战斗骨干多，武器较好，有战斗力。

皖西工委在白色恐怖下，他们依靠群众，扎根群众，保存了骨干，在潜山、舒城、桐城等县交界山区进行隐蔽的游击斗争。

根据上述情况，会议决定实行统一领导，成立皖西人民自卫军和临时党委、临时指挥部。刘昌毅任司令员，负责全面工作，侧重军事指挥。桂林栖任政委，并分管地方党组织及群众工作。会后，为尽快沟通与上级电台联系，他们派两名营职干部将密码送往华北邯郸。

后冲会议解决了党在皖西地区的统一领导问题，为部队坚持皖西斗争、创建和发展敌后根据地、迎接革命高潮的到来奠定了基础。

后冲会议后，我军开始了开辟皖西根据地的新战斗。为了主动配合主力粉碎国民党对解放区的“重点进攻”，刘昌毅确定了以皖西为重点，重建大别山根据地，长期坚持斗争的方针，即：放手发动群众，发展地方武装，主动出击歼灭敌人，扩大游击根据地。

皖西人民自卫军以皖西工委活动地区为基本区。将孔令甫、梁诚二大队配置在岳西、霍山地区；钟大湖、张伟群皖西游击大队于舒城、桐城等地；胡鹏飞、何德庆一大队作为全区机动作战的拳头，主要活动于山、怀宁、太湖、岳西各县。

刘昌毅运用毛主席各个击破敌人的思想，抓住敌地方武装各自保存实力的弱点，采取先近后远、先内后外的战术，首先将游击根据地中对我发展阻力大、对群众危害大的敌据点拔掉。

五、六月，连续攻克潜山源潭铺、怀宁石牌镇、舒城庐镇关、六安毛坦厂等重要据点。石牌镇是敌后方屯集军粮、转运兵员的重镇，部队夺取该镇，将敌储存的十几万斤粮食分给了当地群众。攻打毛坦厂，缴获了一批缝纫机，为后来我军缝制夏服冬装提供了物质条件。

七、八月，皖西自卫军以胡何大队为主，向山外实施机动作战，由潜山一直打到宿松县境。攻克望江县城。相继在石牌、项岭、王家岭、野人寨、黄泥岗、徐家桥等地与敌交战，均获胜利。同时，孔梁二大队、钟张大队分别在岳霍、舒桐等地，积极配合一大队袭扰打击敌人。

在短短的5个月间，我军累计大小战斗50余次，毙伤敌3500余人，缴获各种枪械1700余件和大批军用物资。

我军连续战斗的胜利，使皖西形势大为改观，突出地表现在游击根据地和地方武装的扩大。西面的根据地原只有潜山县源潭、槎水、黄柏几个乡，后扩大到岳西县五河、太湖县黄泥岗在内的纵横一百余公里，连接成片的二十几个乡。

刘昌毅在主动歼灭敌人的同时，还派出大批干部和若干小分队，到各县宣传群众、组织群众，积极发展地方党组织和地方武装，将战斗中缴获的部分枪支弹药拨给各游击队组，使有的区由原来仅十几个人的游击小队，发展成为100余人的队伍。有的县还建立了乡小队、区中队、县大队构成的三级地方武装体制，成为配合主力作战，保卫新生的民主政权的骨干力量。

刘昌毅部在皖西沉重打击了敌人，迫使敌撤出了十几个据点，龟缩于各县城附近。乡下恶霸地主纷纷逃进城里，社会上层人士逐步向我军靠拢，白色恐怖的局面被扭转。

几经蹂躏的老苏区人民从胜利中又看到了希望，对部队严格遵守三大纪律八项注意，给养补充主要靠向地主老财筹款和从缴获中自行解决的做法倍加赞赏。特别是实行了减租减息、取消苛捐杂税、开仓济贫的政策，激发了群众的革命热情，群众积极支援子弟兵，对根据地的巩固和发展起了重要作用。

8月初，根据形势发展需要，皖西人民自卫军实行统一整编，成立了3个支队。一支队由原一大队及新组建的潜、怀两个县大队组成，支队长胡鹏飞、政委何德庆、副政委刘秀山、参谋长张有道，下辖4个大队；二支队由原二大队和新发展的游击队组成，支队长孔令甫、政委梁诚；三支队由原皖西部队组成，支队长钟大湖，政委张伟群。3个支队共4000余人，分别活动在六安、霍山、太湖、潜山、桐城、舒城、宿松、怀宁等县。

随着根据地的扩大，又成立了3个分工委，书记由各支队政委兼任。为了巩固和发展根据地，集中力量打击敌人，刘昌毅决定以一支队为基础组建了第37团（2200人），由一支队直接指挥。

这次部队整编是当时皖西革命形势发展的标志。在几个月时间内，形势发展得如此之快，是事先没有预料到的。这是刘昌毅遵照党中央和毛泽东创建根据地的一系列方针政策，依靠地方党和老苏区人民，坚持大别山独立作战的必然结果。这为刘邓大军南下皖西创造了有利条件。