起初，金主完颜亮在瓜洲，听说李宝由海道进入胶西，成闵诸军方顺流而下驻扎，主亮愈发怒。返还扬州，召集诸将，约好三日后渡江，否则尽数杀戮之。诸将聚在一起谋划说：“进攻，则有淹杀之祸，退却，则有被自己主子敲杀之忧，奈何?”有万戴者曰：“杀掉郎主，与南宋和议、通好、能回归故乡，则是生路一条啊。”众人皆曰：“诺。有道理!”主亮身边训练有贴身侍卫，称紫茸细军，绝不临阵打仗，而是恒常养以自卫，众人都为此事发愁，引以为患。有叫萧遮巴的人，欺骗细军说：“淮东子女、玉帛通通聚集于海陵。”而且极力唆使这些人前往，细军去后，而完颜亮接着就死于非命。
丙申年，敌人退后屯兵三十里外，遣使来宋议和。己亥奏闻此事。召虞允文入朝对谈，上不仅慰藉、嘉许并赞叹，告诉陈俊卿说：“虞允文公忠体国的表现，出于天性，实在是朕之裴度(唐初名相)也。”下诏免除随从人员，前往两淮布置军事措施。虞允文至镇江，上奏收复两淮的三个政策，可却被搁置，匿而不报。
第二年年正月，皇上至建康，允文充川陕宣谕使。辞行前进言：“金完颜亮既然被诛，新主刚刚即位，彼国内外紊乱，天象变化显示，是我朝该恢复国土了。继续议和，则海内士气沮丧，主动出战则海内气伸。”上认为所言甚是。虞允文至蜀，与大将吴璘商议，如何经略中原，让璘进取凤翔，收复巩州。金国也积极整治兵备，争取陕西刚收复的州郡，四川士卒本欲放弃之，虞允文坚持不可。
孝宗受高宗之禅位而登基，朝臣有主战、主和两派者。允文再上疏，大略说明：“恢复国土，首要之务，莫先于陕西地区，陕西五路新收复之州县，又关系到社稷之存亡，一旦放弃不顾，则敌方窥伺蜀地之路愈多，其中之利害关系至为重要。”前后上表凡十五疏，于是上决定召允文详问陕西事况，可手掌大权的执政官僚们，忌惮他来，想个办法，以显谟阁直学士知夔州，把他支开去。
虞后允文揣度，上虽有收复故土的企图，可缺乏主见，又听信谗言，把海、泗、唐、邓四州割让金国，于是乞求退休、致仕。因此孝宗下诏，以显谟阁学士知平江府。
乾道三年二月，又召至朝阙，除知枢密院事兼参知政事。五年八月，拜右仆射、同中书门下平章事兼枢密使。虞允文经常推荐知名人士为官，如洪适、汪应辰等即是。及至为相，将朝中人才分为三等，一有所表现或有所见闻，即详细记录，号称《材馆录》。凡是他所举荐的，皇上皆收用，如胡铨、周必大、王十朋、赵汝愚、晁公武、李焘等人，其忠心为国之举，尤为彰显。皇上认识到兵员冗杂，财物匮乏，为之忧心。虞允文与陈俊卿商议，革除三衙中多余的杂役，淘汰庸冗老籍的官员，从此三军无怨言。
适逢节庆，金派特使乌林答天锡入见，他是金主之婿也，态度甚为倨傲，硬是要请皇上屈驾慰问金主之生活起居，皇上不肯，天锡却长跪不起，近身侍臣惊慌错愕。虞允文请大驾返还禁宫，且告谕金使说：“皇上大驾既然回銮，一时半刻是很难再临御殿，你可再派人来，并且随班上寿。”金使听了，羞惭而退。
上以为仆射之名不正，改为左、右丞相。八年二月，授虞允文特进、左丞相兼枢密使，梁克家为右丞相。虞允文曾荐举克家替代自己，可上不许。当月，虞允文以有病恳乞解除机要参政职务，又再推荐克家，品德兼重有宰相之器，至此，两人方始同登相位。
四月，御史萧之敏弹劾虞允文，虞允文上章辞职待罪。适巧太上(即禅位之高宗)经过德寿宫听闻此事，太上说：“虞允文建立采石之功时，之敏当时在何方?别听他胡说八道。”于是皇上为此罢黜之敏。虞允文却说之敏端行、方正，请召归以广开言路。皇上认为他言行宽厚，命令曾怀将此事写上《时政记》。
后虞允文发觉，身居相位受到多方箝制，无法一展所长，于是奋力求去，皇上只好授他少保、武安军节度使、四川宣抚使，进封雍国公。九年至蜀治理。淳熙元年薨。后四年，皇上莅临蜀区的白石一地，举行大阅兵，见军容整肃，且都是年少壮丁，于是告诉身边的辅臣说：“虞允文，履行了与我约定的淘汰砂砾的效果啦。”不久，下诏赠太傅，赐谥忠肃。
虞允文身姿雄伟，长六尺四寸，慷慨磊落有大志，而言语、行动有原则与法度，常人一看，就知道他是个为国而担负着任重道远之责的人才。早年以文学造诣跻身为台阁大臣，晚年为了共体时艰，出入将相二十年，一生孜孜忠勤无二志。曾注解《唐书》、《五代史》，藏于家。有诗文十卷，《经筵春秋讲义》三卷，《奏议》二十二卷，《内外志》十五卷，行于世。
