等到郗超急于请假回去看望他的父亲(郗愔，忠于晋室)时，司马昱说：“告诉尊父，宗族国家之事，竟到了这种地步，是因为朕不能用道德去匡正守卫的缘故，惭愧慨叹之深，怎能用语言来表达!”接着便咏庾阐之诗：“志士痛朝危，忠臣哀主辱。”吟诵得潸然泪下，打湿了衣襟。
不到一年，之前身体一向康健的司马昱忧郁成疾，一病不起。咸安二年七月甲寅(372年9月7日)，司马昱病重召桓温入朝辅政，一天一夜连发四道诏令，桓温都推辞不到。二十八日(9月12日)，司马昱立司马曜为太子。
临终前，司马昱写了遗诏，要桓温依周公先例居摄。
他写道：“少子可辅者辅之，如不可，君自取之。”此举几近让国。
大臣王坦之在司马昱面前亲手撕毁遗诏，司马昱说：“晋室天下，只是因好运而意外获得，你又对这个决定有什么不满呢!”王坦之说：“晋室天下，是宣帝(司马懿)和元帝(司马睿)建立的，怎由陛下独断独行!”
司马昱于是命王坦之改写遗诏：“家国事都禀报给大司马，如诸葛武侯(诸葛亮)、王丞相(王导)的旧例。”
同日，司马昱在东堂驾崩，享年五十三岁。
桓温听到了司马昱的死讯，等到了让自己辅政的遗诏，却没有等到皇位合法禅让的诏书，大失所望，率军入京。士族领袖谢安、王坦之阻止了桓温的清洗行动。
十余日后，桓温拜谒司马昱陵墓，被新任皇帝特许无需跪拜，他却一直神情恍惚，自言见到司马昱鬼魂，连连拱手施礼，喃喃自语“臣不敢、臣不敢”。
不久之后，桓温一病不起，求赐九锡不得，带着未竟之志而终。相距寥寥数月，彼此纠缠了几近三十年的两人，同归尘土。
出人意料，桓温没有将桓氏基业留给自己的儿子，相反却交给了一直主张对朝廷恭守臣节的弟弟桓冲。
十年之后，正是镇守荆州的桓冲率领桓温一生经营的西府军，和代表中枢的谢氏北府军精诚合作，打赢了实力悬殊的淝水之战，如庞然大物一般的氐秦帝国土崩瓦解。
