公元377年，间隔产生经历上著名的淝水之战另有六年。
其时谢玄镇守广陵，而他的叔叔谢安统辖东晋朝政。
谢安其人，颇有品格清高，因他四十岁以前不亲热宦途，遁世在会稽山与王羲之等游山玩水，而他的名望却分外大，换句话说：他虽不在江湖，江湖却撒布他的传说。
谢安的平辈大多为宦途所累，他只得负担着教诲谢家后辈的重担，侄子谢玄即是他养大的。四十岁往后，谢安哥哥逝世，弟弟领兵失败被废，家属为官的大多逝去，为了家属不至没落，他不得不出山在桓温账下担负司马。后来桓温想篡位自主，谢安时任吏部尚书，用金蝉脱壳挫败桓温诡计。桓温身后，谢安统辖东晋朝政，这时前秦天王苻坚同一朔方，欲拥兵南下。谢安保举谢玄镇守广陵，卖力江北的军事。往后谢玄大批招募好汉，构成一支精锐队列以抵抗朔方。
两年往后，谢玄加领徐州刺史，镇守京口。因为东晋时称京口为“北府”，因此称这支戎行为北府兵。而上将刘牢之即是两年前当选中的好汉之一。传说刘牢之面色紫赤，髯毛与双陌生得奇怪，有些关二爷的风貌。谢玄看到他，感应讶异。后来又发掘他脾气沉稳，为人老谋深算，便命刘牢之为入伍，对他非常珍视。后来刘牢之的阐扬也确凿相配隽拔。六年往后，也即是公元383年，前秦天王苻坚拥百万雄师南下伐晋，前锋五万驻扎在洛涧，易守难攻。谢安觉得应当趁秦军雄师未至，挫其锐气。因而命谢玄自动出击，谢玄派刘牢之带领五千精兵开拔洛涧，一举获得洛涧大捷，斩杀秦军前锋梁成及五万雄师。秦军不得已撤除至淝水，以占有有益局面，不虞在撤除途中，谢安早已放置人在秦军阵后大呼：“火线的秦军败了！
”，秦军阵脚大乱，随后晋军尽力出击，大北秦军。淝水之战以晋军的大获全胜。往后，谢玄被排除兵权，北府军由王恭管辖。一朝皇帝一朝臣，刘牢之不被重用。公元398年，王恭起兵，刘牢之倒戈王恭，归顺朝廷。王恭兵败被杀，刘牢之回收北府军，但因他原来身份卑下，无法服众。后来他带领北府军弹压孙恩和卢循的天师道叛逆军，才渐渐将北府军控制在本人手里。402年， 桓玄谋反，刘牢之受命诛讨，心知不敌随即尊从。不虞桓玄要排除刘牢之兵权，刘牢之只好起兵抵抗。但是因为他原来就笼络人心，尊从桓玄往后更是笼络人心，此时竟无人喜悦跟从他，无奈之下只得羞愤寻短见。刘牢之身后，原北府军入伍刘裕率余部在京口起兵抵抗桓玄。今后，刘裕以北府军为基本，确立刘宋，为一代霸主。若刘牢之泉下有知，不知作何感触！
