在东晋的历史中，几乎每一代权臣掌权时都会组织北伐，作为一代名臣的谢安也不例外。实际上在东晋的多次北伐中，最接近于成功的便是谢安和谢玄组织的北伐。他们接着淝水之战后的良机，顺势拉开了北伐的序幕，不但恢复了淝水之战前被前秦占领的土地，而且收复了中原大部分地区，兵力最远达到了冀州邺城。如果这次北伐如果能够坚持下去，东晋朝廷采纳谢玄的主张，那恢复西晋时的全国统一是指日可待的。然而这次北伐最终也以失败而告终，谢玄下野后，东晋到手的土地也被北方少数民族政权攻占。
淝水之战中，谢安运筹帷幄，谢玄临战指挥，叔侄俩配合打出了中国古代战争史上最为耀眼的一场战役。这场战役不仅粉碎了前秦皇帝苻坚统一天下的计划，而且造成了前秦帝国的提前崩溃，也为东晋北伐创造出最好的战机。在这种战争态势下，谢安果断上书请求北伐，开始了复国的进程。
北伐大军分三路向北方进发，其中东路军以谢玄为首，中西路军由桓氏的将领率领。谢玄一路从广陵北上，以北府兵为主力，收复了兖州、青州、司州、豫州，兵临冀州重镇邺城之外。而桓氏两路则攻克了鲁阳和洛阳，收复了梁州和益州，中原腹地被纳入东晋版图。
这次北伐的战果对于偏安一隅多年的东晋来说是前所未有的成功，既是东晋对北方少数民族最大的战绩体现，也是数次北伐中最接近成功的一次。与此同时，北伐大地因为淝水之战的失败陷入混战之中。前秦帝国崩溃，皇帝苻坚在新平寺被羌族首领姚苌绞杀，各地的氐族军队遭到鲜卑、西羌、乌桓、丁零等族的围攻，国家灭亡就在旦夕。这对于东晋的北伐是极其有利的，按道理东晋朝廷应该趁机加大投入，再接再厉，争取完成驱逐北方少数民族，重新统一华夏恢复西晋国家版图的战略大计。
可是在谢玄等人取得节节胜利之时，朝廷中却出现了反对的声音，认为用兵过度，需要停下北伐的步伐，让国家休养生息。于是谢安和谢玄的北伐就此止步，最终也没能取得完全胜利。而这次北伐过程中取得的大量土地，在谢玄下野后也逐渐丧失殆尽，重新被北方少数民族的割据政权占领。
这样的结局让很多读史书的人感到唏嘘不已，也对东晋朝廷的不思进取感到愤怒。然而分析这次北伐失败的原因，不同的学者却给出了不同的意见。有的认为是东晋国力难以支持长时间北伐，也有的认为是朝廷中门阀士族内斗的拖累。实际从史料上看，上述都不是主要矛盾，这次北伐失败的原因在于司马皇族。
从北伐时东晋朝廷的权力割据就可以发现，这次与之前祖逖、庾翼、殷浩、桓温等北伐失败完全不同。前文讲过桓温等人失败的原因是受东晋门阀士族内斗的拖累，门阀士族为了自己的利益互相拖后腿，致使北伐军缺少后方的兵员和后勤支持，最终只能铩羽而归。
可谢安和谢玄的北伐却与以往不同，因为这次北伐准备相当充分，而门阀士族内部也相对比较团结。实际上在淝水之战前，谢安就做了很多政治上的准备工作。这些工作并非针对淝水之战，而是为北伐奠定基础。只是淝水之战的突然爆发，让这些准备工作都变成了战争的资源。
在淝水之战前，谢安以其强大的政治能力，改变了东晋朝廷门阀士族争锋相对的格局。他没有采用王导、庾亮、桓温等权臣一贯打压其他门阀的策略，而是在朝廷中营造了门阀士族之间的平衡。在这种局面下，琅琊王氏、太原王氏、谯国桓氏、陈郡谢氏等门阀士族相对平衡，各自掌控权力，形成了难得的政治稳定的局面。这个局面不但让东晋政局平稳和社会繁荣发展，而且能让东晋朝廷团结起来一致对外，这也为东晋在淝水之战中取胜奠定了基础。因此从淝水之战，到战后的北伐中原，门阀士族都是比较团结的。
淝水之战中东晋取得大胜，谢安便顺势拉开了北伐的战争序幕。而这场北伐对长期被前秦压制下的东晋来说，是受到全国上下欢欣鼓舞的。在此过程中门阀士族也比较团结，军事和政治上的准备也很充分，所以谢玄才能不断取得势如破竹的大胜。面对这样不断出现的胜利，门阀士族的势力极具膨胀，这便引起了司马皇族的警惕。于是谢安和谢玄遭受到来自孝武帝司马曜和会稽王司马道子的政治压力，他们从政治上掣肘了北伐大计的实施。于是谢安和谢玄被迫中止了北伐计划，放弃手中的权力下野，掌权的陈郡谢氏也逐渐退出了东晋朝堂。
分析这些事情发生的前因后果，可以发现谢安在政治上犯了个严重的错误，那就是扶持东晋孝武帝司马曜。孝武帝司马曜是简文帝司马昱的儿子，是谢安一手扶上皇位的。当时权臣桓温掌权，司马昱临终也提议桓温仿照周公的方式摄政。于是朝中一片混乱，围绕新皇帝展开各种政治斗争，甚至有人传出桓温要借此篡位自立称帝。正是谢安和王彪之站出来力挺，才让司马曜顺利登上皇位。然后谢安以宰相身份掌控朝政，使得东晋国力迅速恢复，朝廷政治平稳，门阀斗争暂时平息，出现了短暂的繁荣期。
