二、辅政之人，除奸固本
金日磾死后，霍光成为了一人之下、万人之上的存在。上官桀为了巩固自己的地位，和霍光结成了儿女庆家，霍光不在的时候，就由上官桀代理大将军的位置。慢慢的上官桀有点不满足于自己的老二位置了，因为论资历、论出身，上官桀都在霍光之上，但现在霍光是老大，自己还要处处看霍光的眼色行事。尽管和霍光结为了儿女庆家，但是并没有给自己带来多少好处，反而处处受到限制，因此上官桀和霍光渐行渐远。
桑弘羊对霍光也很不满，他在开边兴利方面很有建树，又同为武帝托孤之臣，但是霍光似乎对自己并不感冒，自己提出的任命自家子弟做官的要求，一次次被霍光拒绝，因此桑弘羊对霍光也怀恨在心；同样对霍光充满敌意还有燕王刘旦。他是汉昭帝刘弗陵的哥哥，因为没有继承帝位，因此对于汉昭帝心存怨恨；汉昭帝的姐姐鄂邑盖主本来从小把汉昭帝带大，两人关系十分亲近。但因为她寡居多年，为了寻找感情上的寄托，就养了一个男宠丁外人，并想为这个男宠谋求官职。但这样的要求被霍光拒绝了，因此鄂邑盖主也对霍光不满。
这四股势力联合在了一起，将矛头指向了霍光和汉昭帝。上官桀等人让人假冒燕王刘旦的使者，趁着霍光不在的时候，到汉昭帝面前告霍光的黑状。不了汉昭帝并不上当，还当众揭穿了上官桀等人的阴谋，这让上官桀一伙很恼火，于是一不做二不休，他们联合起来，准备有鄂邑盖主出面宴请霍光，并在酒宴上除掉霍光，然后废黜刘弗陵，改立燕王刘旦为皇帝。但这个阴谋被霍光提前识破了，于是上官桀、上官安、桑弘羊、丁外人被处死，鄂邑盖主、燕王刘旦也自杀身亡。至此，霍光把权力完全集中到了自己的手里。
霍光和刘弗陵之间，一直保持着相互信任的君臣关系，在上官桀等人诬告霍光时，刘弗陵就说：“大将军是先帝托孤的大臣，辅佐汉室绝无二心，你们不要诬陷大将军！”同样，霍光并没有因为刘弗陵是钩弋夫人之子，就对他心存怨恨，而是尽心尽力辅佐这位少年天子，孩子是无辜的，狠毒的是他的母亲钩弋夫人，刘弗陵并没有错。这十几年的日子是美好的，君臣齐心、天下安定、国力恢复，但在元平元年大汉又陷入了危机之中，这一年汉昭帝刘弗陵去世，没有子嗣的他并没有确定接班人。
三、废立有因，病已为君
汉武帝的儿子只剩下广陵王刘胥了，因此很多大臣都表示要立刘胥，但是这个刘胥劣迹斑斑，汉武帝在位时，就把他排除在了继承人的名单之外，这样的人恐怕不是仁君之选。但是霍光又不好说什么，恰好有一个郎官上了一份奏书：“当初文王立武王姬发而不立长子伯邑考，就是因为姬发贤能，因此废长立幼是可行的，广陵王不可以做天子！”这番话就和霍光自己说的一样，目的很明确，儿子里没有合适的人选，那就从小辈里选吧。至于是孙子辈还是曾孙子辈，立贤不立长为原则。
这个时候皇太后发话了，那就选昌邑王吧，这位皇太后就是刘弗陵之妻，上官桀的孙女，霍光的外孙女。对于这个决定，霍光既感到意外也感到为难，因为立皇孙是一定的，但昌邑王刘贺却不是自己心中的适当人选。因为刘贺是李夫人一脉，和李广利、刘屈氂有脱不开的干系，但霍光转念一想，如果刘贺败行丧德，也就是为君不贤，那么自己心中的适当人选，就会变成唯一人选了。立昌邑王刘贺，就是为了立而后废，让霍光心目中的合适人选变成唯一人选。
于是，刘贺创造了一项记录，就是成为皇帝后，在短短的十几天时间里做了一千多件坏事，相当于他在睡觉的时候都在做恶。现在看来这无疑是个笑话，也是天大的谎言，但是在当时这是大家都认同的事情。是大家都傻了吗？当然不是，朝堂上的都是聪明人，就因为聪明，他们才犯不上犯傻，因为霍光的旧部大司农田延年的表示，你们谁不支持废刘贺，我的宝剑可不认识人！
到了这个时候，太后也没办法了，大家都说刘贺败行丧德，只好颁布诏书废掉了刘贺皇帝之位。但是国家不能没有皇帝，还有谁能立为天子呢？霍光这时才说出了自己心中适当的人选卫太子之孙刘病已，这也是唯一人选。
直到刘病已登上帝位的那一刻，霍光才如释重负般的松了口气，自己终于对得起兄长霍去病的信任，通过忍辱负重经历了血雨腥风，替卫氏家族完成了绝地反击，将权力又交回了卫太子一脉的手里。在霍光生命的最后一刻，他请求将自己的封邑拿出一部分，给霍去病的孙子并封其为列侯。
《汉书》中记载：光上书谢恩曰：“愿分国邑三千户，以封兄孙奉车都尉山为列侯，奉兄票骑将军去病祀。”
霍光死后，汉宣帝除霍氏不忘霍光之功，除霍氏是为了权力，尊霍光是因为感恩，没有霍光的忍辱负重，就没有卫氏一族的绝地反击，也没有汉宣帝的“昭宣中兴”。
一个人的历史，一家之言。
