关键是，同样利欲薰心的上官桀却不信邪，没有你霍光同意，我也能让自己的孙女当上皇后，于是处心积虑地通过与自己交好的盖长公主的渠道，不仅成功地把自己的孙女送进了后宫，还于始元四年三月当上了汉昭帝的皇后，也从此埋下了被灭族的祸根。
及至外孙女当上了皇后，而且以谋反之罪灭了政敌上官桀一家之后，以前强力反对外孙女当皇后的霍光，立马态度有了一百八十度的转变，不仅不杀上官皇后，还十分工于心计地限制皇帝的性生活，只许上官皇后专宠，不准他人染指，以便能生出有霍家血统的帝位继承人，可谓是算计多多。
正因为如此，到了元平元年四月(公元前74年)汉昭帝突然死去，而令昭帝无子嗣，膝下空虚。可以说，这也是作为辅政大臣的霍光的一大罪状之一，正如某些历史研究者所言：“后嗣对于普通人而言，或许就是延续香火的问题，而对于皇帝来说，则是关乎江山是否得以承继，社稷是否稳定的问题，而霍光这样一个因一己之私就可以置江山社稷于不顾的人，真的可以算忠臣吗?”这是其一。
而且，从曾经聪明伶俐又体格强壮的刘弗陵，在亲如父母信任得一塌糊涂的霍首辅的“强力辅佐”下，却逐渐变成了“病秧子”，最终郁郁而终，以21岁的大好年华暴亡，此中发生了怎样的故事，不禁也使人浮想联翩，猜测不断。这个问题正如《剑桥中国史》一书中说：“年轻的皇帝死时只有21岁，死得可疑;他显然还没有子嗣。他是否流露出什么迹象，致使霍光或其他人希望把他除掉，则不得而知。”于是霍光之忠也因此大打折扣，这是其二。
再一个就是霍光的所谓“还政问题”。汉昭帝八岁登基做皇帝，由于还是一个小孩子，所以汉武帝托政于霍光，这是情理之中的事。关键是颇有政治智慧的汉昭帝成年之后，对于一个14岁时就明察秋毫救过自己一命的天才少年，霍光似乎没有多少意愿还政于皇帝，做急流勇退状，而是继续恋栈权力，陶醉于自己的一言九鼎之中，把可能成为一代英主的汉昭帝当木偶来操纵。虽然在昭帝死前一年有“昭帝既冠，遂委任光”的记录，但并不是他离开政坛，而更像是一种假意让权的权力游戏而已，与嗣后的假意归政于汉宣帝如出一辙，让宣帝“若有芒刺在背”。此后还因为自己女儿当上皇后纵容家人做了很多缺德事，以至于死后其家被族诛，说到底还是专权惹的祸。从这一点上来说，把他与周公、伊尹一代圣贤相提并论，明显是一种拔高，甚至于称其为“难得的贤明无私的忠臣”也是一个不能成立的命题。这是其三。
当然，何为忠何为奸，从不同的角度解读也大有不同，我们就不再纠结于此。至少，后来霍光顺应历史潮流把“淫邪悖乱”、奔皇帝丧期间还让手下搜罗美女苟合的刘贺废掉，换上草根出身的刘询做汉皇帝，也算是一个不错的选择(就像汉景帝选择了刘彻)，最终也得到了被历史证明是英主的汉宣帝的尊重，切切实实是做了一件好事，历史功绩不容抹杀。
