东晋南迁
西晋时期，发生著名的“八王之乱”，结果导致“五胡乱华”，汉人失去传统家园中原地区，不得不南逃江淮流域。318年,晋宗室司马睿在建康称帝，建立东晋。北方汉人闻讯，也纷纷向南投靠东晋政权，此后就是两百多年的南北割据，史称南北朝。
为躲避战乱，江淮间民众纷纷逃到江南，这里成了荒无人烟之地。
为安抚北方流民，东晋先在江南设置侨州、郡、县，即流亡政权，广泛接纳北方流民。随着江南地区人口密度趋于饱和，江南再也无力接纳日益增多的流民，于是，东晋又在江淮间设置侨州、侨郡等。
东晋时，江淮地区设置幽州、冀州、青州、并州、兖州等多个侨州、侨郡、侨县，即流亡政府，收容、安置相关地区的流亡民众。《宋书?州郡志》载：“自夷狄乱华，冀、雍、凉、青、并、兖、豫、幽、平诸州，一时沦没，遗民南渡，并侨置牧司，非旧土也。”为区分江南江北名称相同的流亡政权，人们就分别在其前面加“南”或“北”，如江南的东莞郡叫南东莞，江北的叫北东莞，再建一个同名的就不加“南北”。于是长江两岸、江淮间侨县云集，迁移频繁，史称“永嘉南渡”。
与南方土著苟安心里不同，这些北方流民人数虽少，却幻想着打回老家，收复失土，重建地方政权，这也是设置侨州郡县的原因所在。他们享受着政府的优待，不承担兵役、徭役，不缴纳税负。
此后几十年，东晋的祖逖、桓温等先后北伐，最终都以失败告终。
376年冬，前秦统一了北方，实力大增。此时，苻坚雄心勃勃，很快忘记王猛临终前“不可图灭晋朝” 的告诫，准备一统天下。
此时，东晋感受到了来自北方王朝的空前军事压力，就下诏选拔良将，抵御强敌，谋求生存。值此危难之际，东晋重臣谢安举荐其侄谢玄(343～388)。
东晋劲旅
守江必守淮。为拱卫首都建康，朝廷任命谢玄为建武将军、兖州刺史、领广陵相、监江北诸军事等职，坐镇广陵，坚守淮河。
此刻，东晋要抗御强大的前秦大军，就必须有一支骁勇善战、士气高昂的队伍，而此时东晋军队战斗力低下，畏敌如虎，兵无斗志。为了打败强敌，谢玄就必须另外组建军队，谢玄想到了江淮间成千上万的北方流民，他们无时不在思念收复故土，求战心切，可以利用。
谢玄到任后，在江淮地区北方流民中选拔骁勇士卒，颁布严格的军令，进行严格的训练。因这些人是北方人，又称“北府兵”。谢玄打破东晋盛行的门阀观念，从基层选拔了骁勇善战的战士刘牢之、何谦、田洛等当部将，一支能征善战的队伍”走上了历史舞台。《晋书?刘牢之传》载：“太元初，谢玄北镇广陵，时苻坚方盛，玄多募劲勇，牢之与东海何谦、琅琊诸葛侃、平安高衡、东平刘轨、西河田洛及晋陵孙无终等以骁勇应选。选以牢之为参军，领精锐为前锋，百战百胜，号为北府兵，敌人畏之”。
建元十四年(378年)，苻坚派征南大将军苻丕等率步骑七万攻打襄阳。东路派前秦兖州刺史彭超、后将军俱难(亦作句难)、右禁将军毛盛、洛州刺史邵保率步骑七万攻淮阳、盱眙等地。
当时，东晋将兖、青、冀、幽州侨置于境内三阿。谢安命谢玄征徐、兖、青三州人丁入伍，实际上主要就是发动本地新居民入伍，以壮大北府兵，抗击前秦的东路军。谢安又让彭城内史何谦在淮泗一带游击，声援西路之襄阳。
379年二月，前秦攻下襄阳。东晋将领李伯护叛变通敌，却被苻坚所杀。骁将朱序力战兵败被前秦所俘，却被委以官。
东路前秦兖州刺史彭超立功心切，向苻坚请缨攻彭城戴逯。谢玄率东莞太守高衡、后军将军何谦领兵三万驻泗口(在淮安)，救援彭城，小将田泓舍身巧妙送达军情。谢玄声东击西，声称让何谦攻击敌辎重所在地留城。彭超释彭城之围，引兵保留城辎重。戴逯乘机率彭城之众出奔谢玄，一起退守广陵。此战，谢玄初露锋芒。
三月，前秦毛当、王显率两万精锐之师自襄阳东会俱难、彭超，合攻淮南。俱难部见援军到来，士气大盛，顺利攻克淮安，又架桥渡淮，留邵保守淮安。
五月十四日(乙丑)，俱难、彭超率众二万攻占盱眙，晋将毛璪(音早)之被俘。
接着，彭超率兵六万包围幽州刺史田洛于高邮县之三阿(今在金湖县塔集镇，历代《高邮州志》皆有此战之记载)。三阿，距广陵仅百里，是东晋北大门。如果前秦大军攻取三阿，可直取广陵、进军江南。
三阿大战
东晋赶紧调兵遣将，派两路大军过江，呼应谢玄，保卫京都建康：一路由征虏将军谢石统领，率水军出屯涂中(滁州);一路由右卫将军毛安之率兵屯堂邑(六合)。
前秦毛当、毛盛率骑二万袭堂邑，东晋毛安之部四万人马惊溃，朝野一片震惊。
谢玄见形势危急，立即亲率三万北府兵从广陵救援三阿，迎击前秦军。五月二十五日(丙子)，谢玄部进至白马塘时，与前秦将领都颜遭遇。激战中，何谦奋力斩杀都颜，秦兵败后撤。
谢玄大军乘胜推进到三阿，对敌方构成反包围，双方于三阿展开大战。东晋军内外夹击，俱难、彭超不支，率残部退保盱眙。谢玄率部收复境内。
六月初七(戊子)，谢玄与田洛率众五万从境内出发，进攻盱眙。俱难、彭超又败，退屯淮阴。
谢玄又遣何谦等帅舟师沿邗沟北上，夜焚淮桥，邵保战死，俱难、彭超又逃。
《晋书·苻坚载记》载：“太元四年，彭超陷盱眙，遂攻晋幽州刺史田洛于三阿，去广陵百里。谢元自广陵救三阿，率众三万次于白马塘。俱难遣其将都颜率骑逆袭元战于塘西，元大败之，斩颜;元进兵至三阿，与难、超战，超等又败，退保盱眙;元进次石梁，与田洛攻盱眙，难超出战，复败，退屯淮阴;元遣将军何谦之、督护诸葛侃率舟师乘潮而上，焚淮桥，又与难等合战，谦之斩其将邵保，难超退师淮北。”