谢玄出身
陈郡谢氏。有经国才略,善于治军,起家大司马
桓温部将。太元二年(377年),为抵御前秦袭扰,担任建武将军、兖州刺史、广陵相,都督江北诸军事。招募北来民众中的骁勇之士,组建“
北府兵”。太元四年(379年),率兵击败前秦进攻,进号冠军将军、徐州刺史。
淝水之战中,出任前锋都督,先遣部将
刘牢之率部夜袭洛涧,首战告捷。抓住战机,计诱前秦军后撤,乘势猛攻,取得以少胜多的巨大战果。太元九年(384年),乘胜开拓中原,先后收复了河南、山东、陕西南部等地区,因病改任
左将军、
会稽内史。