北伐部队兵分两路，一路由大将李显忠率领攻打灵壁，一路由大将邵宏渊率领攻打虹具。李显忠是陕西人，一家200余口尽被金兵杀害，因此与金国有不共戴天之仇，是坚定的主战派。他很快就攻克了灵壁。另外一路久攻虹具不下，最后还是李显忠派灵壁降兵前去劝降，虹具守将才放弃抵抗。
邵宏渊这人心胸狭窄，嫉妒李显忠的才能，因此在军事行动上不配合李显忠。李显忠请邵宏渊乘胜进攻宿州，但邵宏渊却不予理睬。李显忠只得独自率部行动，经过激烈战斗，攻下了宿州。宿州是军事重镇。宋孝宗闻讯后那是相当高兴，写了一封亲笔信嘉奖将士，“近日边报，中外鼓舞，十年来无此克捷。”
他当然不知道，他的嘉奖使得李显忠与邵宏渊之间的矛盾更深了。
在经过最初的溃败之后，金兵开始展开反扑。李显忠奋勇抵抗的时候，邵宏渊不但不救援，反而站在城墙上说风凉话：“这大热天的，摇扇子也不凉快，打什么仗嘛。”
可想而知，孤军作战的李显忠抵抗多时后，独木难支，最终全线溃败。宿州古称符离，因此这一事件也称为符离之溃。
虽然宋军在符离之溃中没有受到实质性打击，但这给了踌躇满志的宋孝宗沉重一击。他也逐渐意识到，恢复大业并不是旦夕之间就能完成的，就倾向了主战派，他重新任用了秦桧余党汤思退，并将主战的张焘、辛次膺和王十朋等先后赶出朝廷。不过，他还是对主战派留有余地。张浚因战败请辞，宋孝宗好言劝告，象征性地降为江淮宣抚使，部署两淮防线;不久又恢复都督江淮军马的职务。
不打仗了，大家就坐到谈判桌上来。
金国开出了价码：宋帝与金帝改为叔侄关系，宋朝归还在战争中占领的海、泗、唐、邓四州，归还降宋的金人，补纳绍兴末年以来的岁币。
金国以为像以前那样，只要自己开出价码，宋朝就只有乖乖的接受，但这回他们遇到了宋孝宗——一个欲有所作为的皇帝。宋孝宗说：不。
说“不”是需要底气的。宋孝宗召回张浚为右相，全力备战，准备与金军一决雌雄。
张浚招徕山东淮北的忠义之士万余人，补充建康、镇江的正规军，增修两淮城堡工事，添置江淮战舰，随时奉命待发。无奈汤思退及其同党百般攻击张浚，污蔑他“名曰备守，守未必备，名曰治兵，兵未必精”。再加上太上皇宋高宗插了一腿，让宋孝宗不要“折腾”。在种种压力之下，宋孝宗屈服了，将张浚罢免。
宋孝宗赵昚
四个月后，张浚死在离京途中，留下遗嘱，“我曾任宰相，不能恢复中原，雪祖宗之耻，死后不配葬在祖宗墓侧，葬在衡山之下足矣。”
谈判继续进行。几番艰辛的拉锯战之后，1164年，“隆兴和议”签字生效。具体条款是：
1、宋帝称金帝为叔父;
2、国交平等，改诏表为国书;
3、改岁贡为岁币，银绢各减5万;
4、疆界如绍兴之旧，宋归还所取商秦二州。
与绍兴和议相比，双方都进行了适度的退步。在金国那边，是因为国内政局不稳;在南宋这边，是军事实力实在太差，打不过人家。绍兴和议之后，两国进入了40年的和平时期，直到开禧北伐。在这40年里，两国都开足马力，发展生产，因此社会经济都得到了长足的进步。
不过，宋孝宗还是对恢复大业念念不忘。他一边搞建设，一边搞军备。他也知道，金国是靠不住的，只要他们一恢复元气，随时都有撕毁条约，举国南侵的可能。是以，他任用主战派代表虞允文为相。
虞允文曾经组织指挥过采石大捷，宋孝宗对之寄予了很大希望。这年9月，宋孝宗派虞允文到四川任宣抚使，希望他日后能在四川率先出兵。他对虞允文说：“丙午(即靖康)之耻，当与丞相共雪之。”他甚至与虞允文相约，一起发兵攻打金国。虞允文临行前，宋孝宗握住他的手，说：“爱卿啊，如果你出兵了，我没出兵，是我辜负你;如果我出兵了你没出兵，是你辜负我。”
虞允文走后，宋孝宗天天等候他出兵的消息。可虞允文到四川快一年了，都没有向他报告出兵的计划。宋孝宗等不及了，一封又一封加急电报发过去，催促他出兵。而虞允文的回答都是：还没准备好，不能出兵。宋孝宗很生气，派人拿着自己亲笔写的信去催促虞允文。这一回，派去的人赶到四川，却发现虞允文已经因为劳累过度病逝了。
宋孝宗的计划又泡汤了。
学界有一种说法：高宗朝有恢复之臣，无恢复之君。孝宗朝有恢复之君，而无恢复之臣。这说法是比较公允的。宋高宗空有岳飞、韩世忠等名将，却尽做些自毁长城的事情;到了宋孝宗时代，老大挺能干，手下却多是胸怀大志，却碌碌无为之士。
比如张浚，是一个旗帜鲜明的主战派，但能力实在有限。虞允文的情况也差不多。对国家忠心耿耿，却并不是一个栋梁之才，难以承担中流砥柱的重任。或者，这就是宋孝宗不得不面临的窘境吧。
虞允文事件又给了宋孝宗沉重一击。他也由此从一个理想主义者变成为一个现实主义者。从此再也不提北伐之事，一心一意抓国内建设，增强国力，为下一届政府北伐打好人力、物力基础。
宋孝宗恢复了开国以来言论自由的传统，鼓励大臣们存在不同意见，互相争论。这使得相当长一段时间，政治都比较清明。
为了改变民贫国弱的局面，宋孝宗非常重视农业生产，他每年都亲自过问各地的收成情况，而且还十分关注新的农作物品种。有一次，诗人范成大向他介绍了一种叫“劫麦”的新品种，宋孝宗让人先在皇宫的后花园里试种，发现确实穗实饱满，就在江淮各地大面积推广。
