其实史浩心里很清楚。张浚虽有中兴之心，却无中兴之才，可谓志大才疏.。建炎四年他力排众议冒然与金兵决战酿成富平之败，绍兴七年他不听岳飞劝告而以书生吕祉统领刘光世军队而酿成淮西兵变。那场富平之战，高宗为了扭转在东南的被动局面，派张浚经营川陕。张浚把五路兵马二十万人，七万匹马都集中到富平，还有无数粮响。当时南宋的大半家底都集中到张浚手里了，张浚踌躇满志，甚至准备此战胜后，直捣燕京。虽然吴阶、曲端等好多人不同意与金作战，但张浚固执己见，兵力集结后，张浚拒绝了部将的兵不厌诈，出其不意的建议，而是约期作战，结果他连续几次下战表，金兵主将完颜娄室就是置之不理，其实，娄室正在利用这个时间,部署调动兵力，他先派三千骑兵把宋军大营周围的百姓居住的寨子占领，这样就把宋军包围起来。张浚得知便吓坏了，带头逃命，宋军本来就缺乏配合作战的能力，这下是兵败如山倒，军队损失很大，大量的粮草、器械也都被金兵获得。此战后，宋军在陕西已经没有立足点，因为张浚的拙劣表现，大大消耗了南宋的实力，此后宋军再也没有能力集结这样的大兵团和金作战了。
富平之战后，张浚又一手酿造了淮西之变。“中兴四将”之一的刘光世用兵不利，结果被罢免，但他手下的军队怎么处置成了问题。张浚力排众议，派自己的亲信吕祉去统领该军，这个吕祉是个纸上谈兵的书呆子，曾自栩如能亲统一军必能擒刘豫，张浚拿他当宝贝，大加重用.结果吕祉去了淮西以后，不仅无法指挥军队，还瞧不起武将，最后淮西将领郦琼率领四万军队挟持着吕祉北上投降伪齐，这位空谈的吕大人也因此丢了脑袋。而淮西之变的根本原因就是处置不当，副将郦琼和主将王德有矛盾，如果让韩世忠或者岳飞兼领该军，必定不至哗变。因为淮西之变，张浚被罢相，闲置了二十余年。高宗因此说，朕宁可亡国，也决不用张浚。这句话自然可以理解为，凭张浚的才能，用他肯定就亡国了。隆兴北伐前，高宗还对孝宗说，千万不要重用张浚，孝宗不听。结果，张浚出师又出昏招。本来开始出兵时，李显忠为主将，可以节制邹宏渊，但邹宏渊找到张浚抗议，张浚就同意两人各领一军，互不统属。结果符离溃败就是因为邹宏渊不援助李显忠。而且，北伐时，前线部队在安徽，而张浚自己驻扎在扬州，距离这么远，如何指挥，焉能不败。
即使从士大夫角度来说，张浚也不能算是君子。高宗初即位，黄潜善和汪伯彦二奸千方百计排挤李纲，而作为黄潜善一手提拔起来的张浚，对汪黄的误国视而不见，却为了报答黄的知遇之恩，对李纲极尽诬陷，中伤，打击之能事。甚至称李纲为国贼，靖康之耻的酿造者。这些行为岂能与史浩的人品相比。
符离溃败，张浚自弹，不久就去世了。金人渡淮南下，魏胜战死，刘宝王彦逃遁，因此在军事行动中金人更占了上风。
十二月，孝宗命原来停留在镇江的使臣魏杞渡过淮河，到金朝求和。魏杞此行危机四伏。金帅因为魏杞不肯屈服，大怒，挥剑恐吓，剑及颈而止，魏杞的脖子却不因此有稍歪。魏杞从没有被金人吓倒，乾道二年正月，他在燕京晋见完颜褒，就在朝堂上抗言道：“天子神圣，才杰奋起，人人有敌忾意，北朝用兵能保必胜乎?和则两国蒙其福，战则战士蒙其利，昔人论之甚悉”。这段话切中当时宋金实情，因此“金君臣环听拱悚”。虽然这话有点夸张，但却十分切近实际。在魏杞出色的外交斗争下，金廷同意收回遣返归正人的要求，同时确定双方国书称谓。宋国书为“侄宋皇帝昚，谨再拜于叔大金圣明仁孝皇帝阙下”，金国书为“致书于侄宋皇帝”，不写名字，不写尊号，不称阙下，自此成为宋金国书的定势。这一和议的签订，既在一定程度改变了一些屈辱，又使宋金进入了近四十年的和平时期。对此史浩钦佩这位年少时的同窗。
史浩罢相归来，经过慈溪，慈溪县令出城外数里前来迎接，一会，县里的其他官也来参拜，将县衙里挤得满满的，史浩就站起来还礼表示感谢。县令局促不安，请求免礼，史浩说：“阁下与之，有名分，某与之，为乡曲，自是不同。”没有因曾居高位而轻视下级官员。闲居数日，史浩便去游览余姚，拜谒严子陵墓，他对隐居生活颇为自得，《严光墓》一诗透露了他当时的心境：玉匣蛟龙已草莱，一邱马鬈尚封培;云台若也标名胜，千古谁知有钓台。
乾道初，史浩受命知绍兴，到任后，他兴修水利，惩除强暴，深得人望。
他又将母亲洪氏接到绍兴供养，史家孝母有数代传统。当年史浩为官在朝，十分记挂家中母亲及妻儿，每逢八月十五中秋节，总要从都城临安赶回故乡同亲人团聚。不料有一年。史浩在返乡过中秋的途中，因马失蹄而受伤，夜宿绍兴而不能按时返乡与亲人共度中秋佳节。
家中也因他以前年年都及时赶到过中秋，相信他一定会回家来，所以左等右等，但月上中天，玉兔满轮，仍不见他返回，直等到次日八月十六，史浩才迎来了匆匆赶到，于是一家人在月上东山，重设供品祭月，共度佳节，史浩又填《念奴娇 中秋》：碧天似水，看常娥摩出，一轮寒璧。桂魄扶疏光照耀，尘界都成银色。万象森罗，羞明卷彩，黯淡唯今夕。风高露重，井梧湿翠时滴。谁信鹤发婆娑，鄮峰真隐，对影为三益。虎绕龙蟠丹就后，一颗清辉的国。不养银蟾，不关玉兔，到处无亏蚀。三千行满，也能飞上璇极。此事在乡传为佳话。
史浩很会感恩，那年的卖饼婆还健在，史浩就派人用车将她接来，让她坐在堂上，接受恭恭敬敬礼拜。史浩又想推荐她儿子去做官，卖饼婆表示感谢，却没有接受，她说：“希望丞相的子孙，如果有一天能到绍兴来做官，不要忘记我家，能给与接济就行了。” 史浩答应了，并告诉给儿子，后史弥远为常平使者，又到卖饼婆家去，在她的像前跪拜，与她的儿一起坐在堂前叙旧，并送了很多金帛。到嵩之在绍兴做官，卖饼婆的子孙们都在，嵩之也像当年史浩待卖饼婆一样对待他们。
