宣帝晚年，政治上的危机已露端倪，在其统治后期的诏书中经常可见民多贫、盗贼不止的记载，那种中兴的景象逐渐成为人们的美好回忆。
宣帝去世以后，太子刘奭即位，即汉元帝。刘奭（shì）是宣帝许后所生，性格“柔仁”，宣帝并不喜欢他，多次慨叹“乱我家者，太子也”，但顾念到许氏旧情，不忍心废掉刘奭。
刘爽上台以后，果不出宣帝所料，懦弱无能的皇帝终于把大权旁落到宦官手中。本来宣帝临终前已看出太子的弱点，为了不使国家衰败，特下诏令乐陵侯史高、太子太傅萧望之、少傅周谌三人共同辅政，希望借助这三位重臣之力，巩固皇权，不使日渐衰微的汉家政权走向崩溃，但是，历史的发展往往不能尽如人愿，宣帝去世不久在三位辅政大臣中就首先出现了分裂。
史高为元帝妃史良娣兄史恭之子，因外戚的关系领尚书事,位居首辅。萧望之、周谌都是元帝的老师。萧、周两人虽位居史高之下，但两人都是当时名儒，在政治、军事方面颇有见地，故元帝刘爽刚即位之初也很信任他们，每言政事，元帝颇多赞许。这样，史高渐渐对萧、周两人产生嫉恨，为争夺权力，史高就同宦官勾结起来，准备排斥萧、周，自行专权。早在宣帝时期，中书令、宦者弘恭、石显就已久典枢机，替皇帝处理政务。
宣帝死后，弘恭、石显不想失掉权势，也愿意与外戚史高联合，依仗史、许等外戚的势力，把持朝政。这两股势力为了个人利益勾结在一起，一时朝廷中分成两派。萧望之、周谌等人多次劝说元帝要任用士人，疏远宦者，但是懦弱的元帝总不敢下决心清除弘恭、石显等人，结果终于中了石显等人的计，将自己的老师萧望之下狱，望之不愿受辱，饮鸩自杀，追随他的周谌、贾捐之等人也相继被害。
弘恭、石显掌握了朝廷的大权，“公卿以下畏显，重足一迹”，元帝“事无大小，因显白决”，成了十足的傀儡皇帝，朝廷混乱到极点。
元帝只活了43岁，公元前33年他在朝政一片混乱当中死去。20岁的太子刘骜即位，是为成帝。成帝即位不久将石显罢官，放归故里，石显在回归途中忧懑不食而死。这样石显的同党也全部失势，宦官专权算是告一段落了。
但是，虽然宦官势力被铲除，朝政并没有任何更新，皇权不但未加强起来，外戚势力却又抬起了头。外戚专权成了成帝统治时期的重要内容，汉末王氏家族也由此崛起，王氏一门逐渐步入西汉统治权力的中心，直到王莽代汉彻底断送了西汉王朝的统治。
王氏家族的崛起是由王政君的发达而来。王政君是元帝的皇后，祖父为武帝时绣衣御史王贺。宣帝甘露三年，太子刘奭宠幸的司马良娣病死，刘奭非常伤心，因此得病。宣帝于是命皇后挑选后宫家人子送入太子宫中，侍奉太子，其中就有王政君。
王政君来到刘奭的宫中，受到太子的临幸，史载“一幸，有身，是岁，生成帝于甲馆画室，为世适皇孙”，“帝爱之，自名曰骜,字大孙,常置左右”。王政君并不受刘奭的宠幸，因为生了皇子，才被立为皇后，子刘骜又被立为太子。元帝八年去世，太子刘骜正式登基，是为成帝，王政君母以子贵，自然发达起来。
成帝在做太子时就是有名的好色之徒。即位以后更加有恃无恐，做皇帝的第一件事就是下诏采良家妇女以备后宫。许多大臣都上书谏止，认为“后宫女宠太盛，嫉妒专上”，希望成帝能稍加节制。但成帝只是表面上采纳，却从不付诸行动。开始专宠许皇后，以后又宠班捷妤及侍者李平。鸿嘉三年(前18年)又有赵飞燕姐妹得宠，成帝心思根本没有放在朝政上，结果太后王氏一门专擅弄权，外戚专权局面由此形成。
王政君有兄弟八人，王凤、王曼、王谭、王崇、王商、王立、王根、王逢时。其中王曼，也就是王莽的父亲，早死。王莽辅政一年，成帝去世。哀帝即位后重用自己的外家傅氏。
当时王莽声望已高。众多大臣纷纷为他求情，要求恢复他的官职。恰好这年又发生了日食，这又成了为王莽说情的大臣们借题发挥的好借口。汉哀帝只好下诏将王莽召回京城。王莽回京一年后，哀帝死去，他没有儿子，于是王莽在姑姑太皇太后的支持下做了新帝汉平帝的辅政大臣。接着，王莽将成帝傅姓外戚赶出京城，自己当起了“安汉公”。
王莽的党羽们为把他最后推上权力顶峰，假造一块白色石头，说是汲井时所得，上边写着红字:“告安汉公王莽为皇帝。”这些红字当然是天意了，王莽怎敢违抗。公元8年，王莽终于宣布取代汉，改国号为“新”。