汉武帝雄才盖世，但他也始终没有解决接班人的问题。先是立嫡长子刘据为太子，之后他宠幸李夫人，于是想立李夫人的儿子刘赙为太子。可是还没来得及立刘赙为太子，李家就获罪被族诛，刘赙自然也就被边缘化了，于是被封为昌邑王。之后，又发生了巫蛊案，太子刘据被迫造反，失败之后自杀。到汉武帝去世时，只有钩弋夫人的儿子弗陵，为了防止汉高祖去世后吕后专权的情况再次出现，汉武帝将钩弋夫人赐死，并托孤给霍光、上官桀等人。
刘贺剧照
汉武帝在位时，雄才大略，权力都集中在他一个人身上。集权的好处当然是很明显的，因为权力集中，所以只要掌权的人英明神武，就很容易办成一些大事。可是，集权的弊端在于，因为权力过分集中，所以一旦掌握权力的人突然去世，这个权力中心不存在了，就会引起一些混乱。汉武帝去世前，托孤的时候，为了防止权力过分集中在大臣手中，架空自己年轻的儿子，所以并没有将权力都托付给霍光，而是还有上官桀、桑弘羊、金日磾三个人，以相互牵制。可是，汉武帝去世后，霍光很快就以上官桀图谋“杀霍光、废昭帝、立燕王旦”为名，杀掉了上官桀，桑弘羊和金日磾随后也先后被霍光消灭。这样，权力还是集中到了霍光手中。
霍光将权力集中在自己手中后，在昭帝时期，总体而言还是不错的，这当然得益于昭帝早逝，压根没有来得及与霍光发生权力冲突。昭帝年仅二十一岁就突然驾崩，霍光多少也有些嫌疑。毕竟，上官桀就曾串通燕王旦，想废昭帝另立燕王旦为帝。从史书记载上看，昭帝虽然不如汉武帝那般英明神武，但至少有中人之资，一旦年龄大了，霍光还要继续名正言顺的掌握核心权力，就没有那么顺理成章了。
站在霍光的角度看，要保证他始终能够掌握最高权力，无非是两个办法，一个是少年皇帝，不懂政事，另一个办法就是皇帝懦弱无能。史书的记载显示，霍光在政治斗争中获胜后，权倾朝野，一人之下万人之上，汉昭帝就感到“芒刺在背”，很不舒服。也就是说，汉昭帝已经意识到，霍光会威胁到他的权力乃至人身安全。而且，这样的感受能在史书上流传下来，就说明汉昭帝的这种感觉曾对身边人表露过，那么他当然会寻找机会夺回原本属于自己的权力。所以，如果有可能，换一个年龄更小的皇帝，以便于自己继续掌握最高权力，就是霍光的理性选择。
因此，在汉昭帝不明不白的突然驾崩后，大臣讨论立谁为帝时，广陵王胥首先被排除了，理由是他从来没有进入过皇位继承人范围，汉武帝在巫蛊案之后，本来就可以立广陵王胥，却没有选择他，而是选择了年幼的汉昭帝。
刘询剧照
这个理由其实压根就不能成立。汉高祖刘邦驾崩后，吕后专制，周勃等人除掉吕氏家族后，就选择了立代王为帝，而代王的母亲薄姬很早就已失宠，随代王到了封地生活，刘邦也从未考虑过让代王继承皇位。但周勃等人仍然选择了立代王为帝。当然，周勃等人立代王为帝的理由或许是，高祖诸子中当时代王年长而且名声不错，但更重要的显然是，正因为刘邦从未考虑过让代王继位，薄姬又是小门小户，所以代王在朝廷里没有什么势力，立他为帝，周勃等人可以继续把持朝政。而霍光拒绝让广陵王胥继位，一个最主要的原因显然是，他年龄大，心智已经成熟，一旦登上帝位，那么就很容易与霍光发生冲突，危及霍光的地位。
所以，霍光最后选择了昌邑王赙的儿子，也就是继任的昌邑王刘贺。他的理由是，刘贺从辈分上说，是昭帝的下一辈，比较顺理成章。但更重要的理由也许是，在当时，昌邑王贺胡作非为的表现已经人尽皆知，这种政治上近乎白痴的作风让霍光比较放心，让他继承皇位，不会危及霍光继续把持最高权力。想想看，作为一个要进京继承皇位的人，还能在半路上强抢民女，还不知道收敛一点，政治上怎么会有很多想法呢?但霍光没想到的是，昌邑王贺虽然在封地胡作非为，看不出一点政治能力，但继承皇位后，却很快就想着采取措施，让自己的亲信掌握核心部门。这时候，对霍光而言，就很难办了。要么急流勇退，归政给皇帝，要么奋起反击，废掉这个在朝廷尚未站稳脚跟的皇帝，另选一个没有根基的皇室后裔来继承帝位。霍光的选择是后者，果断反击。所以，在这种情况下，刘贺本人到底如何并不重要，重要的是政治斗争需要他成为什么样的人，他就可以在权臣掌握之下的舆论中被塑造成为什么样的人。霍光迅速采取措施，让大臣向年轻的皇太后也就是他的外孙女上奏折弹劾刘贺，进而以皇太后的名义废黜了刘贺，另选了太子据的孙子刘询为帝。
巫蛊案之后，太子据与儿子刘进一同遇难，刘进的儿子刘询流落民间，在祖母史家长大，到后来武帝才下诏将刘询带进宫，在宫中抚养。不过，也许是在民间的生活经验让少年刘询觉得有趣，所以他仍然经常私自出宫在京郊游玩。很显然，与广陵王胥一样，刘询作为罪人刘据的孙子，汉武帝并没有将他列入皇位继承人的考察范围，他也没有什么有权势的亲戚，在朝廷更谈不上有什么铁杆支持者。甚至，昌邑王贺继位后，想在朝廷里安插自己的亲信，还有亲信可用，刘询连这样的亲信都没有几个。这当然更便于霍光控制。因此，霍光大概认为，刘询是一个比昌邑王贺更容易控制的皇位继承人。