1259年，蒙哥汗决心彻底解决南宋，忽必烈重获起用，负责指挥东路军，攻打鄂州。当双方正在激战时，从四川传来消息：蒙哥汗在钓鱼城战死。面对这 一突如其来的变故，忽必烈在几经犹豫后，决定从鄂州战场抽身。在与南宋权臣贾似道议和后，忽必烈率大军急速北上，开始了对蒙古大汗宝座的角逐。
1260 年三月初，在部分蒙古宗王、中原汉地官僚士大夫的拥戴下，忽必烈于开平正式登上蒙古大汗的宝座，并首次采用汉族王朝的年号——中统纪元。忽必烈的登基，标 志着一个新时代的来临。忽必烈的即位，并不是一帆风顺的。几乎就在他即位的同时，弟弟阿里不哥也在哈剌和林附近被拥戴为蒙古大汗。
作为幼子，阿里不哥是拖雷夫妇遗产的合法继承者，掌握着父母留下的大部分蒙古部众与军队。蒙哥出征南宋时，阿里不哥奉命留守和林，牢牢控制了蒙古政权的政治中心。蒙哥死后，阿里不哥得到蒙哥诸子及蒙古汗廷大臣的普遍拥护，以蒙哥合法继承者的面目出现。
网络配图
相反，忽必烈数年前就曾因与蒙哥发生冲突而赋闲，只是因蒙古对南宋战事吃紧才重获起用。他拒绝奔赴漠北参加选举蒙古大汗的忽里台，在开平另起炉灶，偏离了蒙古本土选举大汗的政治传统，这对维护他正统大汗的形象是非常不利的。
面对阿里不哥的挑战，忽必烈首先争取到另一个弟弟旭烈兀的支持。此时，旭烈兀正主持蒙古第三次西征，前锋已逼近埃及。得知蒙哥去世后，他迅速撤军东归，途中遇到忽必烈的来使，承认他在阿姆河以西的权利。旭烈兀于是留在当地，建立起承认忽必烈宗主地位的伊利汗国。
蒙哥去世后留下的四川蒙古军将领，大多倾向拥护阿里不哥。为了斩断阿里不哥的右臂，忽必烈紧急派遣廉希宪等人赶赴陕西，设计杀死拥护阿里不哥的蒙古将领。驻守六盘山的蒙古军主帅浑都海被迫西撤，与阿里不哥南下接应的阿蓝答儿军会合。
中 统元年(1260年)九月，双方在甘州东删丹附近的耀碑谷发生激战，浑都海、阿蓝答儿战死，川陕地区被牢牢控制在忽必烈手中。漠北地区是双方的主战场。为 了打赢这场战争，忽必烈几乎调动了他所有的精锐部队。战争进行得非常残酷，和林不仅得而复失，战火还一度烧到了大漠以南。中统二年(1261年)十一月， 昔木土脑儿一战决定了阿里不哥失败的命运。此后，阿里不哥的处境每况愈下。四年后，走投无路的他被迫向忽必烈投降。
阿里不哥汗位之争，并非我们通常所理解的造反或叛乱。中国有句古话，“成者为王败者寇”。阿里不哥归降时，忽必烈曾得意地问过他们之间到底谁对谁错，阿里不哥回答说：“从前我对，现在你对。”这也可算作他对那句中国古话所作的蒙古式阐释吧。
网络配图
忽 必烈没有想到的是，阿里不哥的投降，仅仅是噩梦的开始。海都，蒙古第二代大汗窝阔台的嫡孙，一直在关注忽必烈与阿里不哥的战争。阿里不哥投降后，他继之而 起，扯起反对忽必烈的大旗。同阿里不哥相比，海都是一个更难对付的挑战者。他不仅复兴了衰落的窝阔台汗国，成功地控制了察合台汗国，甚至还将西面遥远的钦 察汗国也联合到自己的旗帜下。
至元六年(1269年)春天，成吉思汗三子——术赤、察合台、窝阔台三系代表在塔剌思草原举行忽里台大会，成 立了共同反对成吉思汗幼子——拖雷系领导下的元朝与伊利汗国的联盟。这次会议成为蒙古帝国最后走向分裂的标志。从此，忽必烈永无安宁之日，越来越多的蒙古 宗王站出来向他发起挑战。
至 元二十四年(1287年)，正当忽必烈为对付海都等西北诸王殚精竭虑的时候，东道诸王首领乃颜，领导成吉思汗三位弟弟的后裔，在东北也发动了声势浩大的叛 乱。年逾古稀的忽必烈，不得不亲自统率大军，前往平叛。虽然乃颜很快战败被杀，叛乱逐渐平息，但以海都为首的西北诸王之乱，直到忽必烈去世也没有得到解 决。蒙古黄金家族成员向忽必烈发起的挑战，并非仅仅是在争夺蒙古大汗的宝座，双方在意识形态上也存在着严重分歧。塔剌思大会后，西北诸王曾 派使臣入朝质问忽必烈：“本朝旧俗与汉法异，今留汉地，建都邑城郭，仪文制度，尊用汉法，何故?”这些蒙古宗王认为他们才是成吉思汗《大札撒》的恪守者， 而忽必烈则是一个不折不扣的背离者。南宋灭亡标志着中国大一统局面的重现，同时又成为忽必烈新的征程的开始。日本、安南、占城、缅国、爪 哇，一个个被列为他的征服目标。可惜的是，幸运之神不再眷顾忽必烈，他的好运就此发生逆转，上述征服行动一而再再而三地失利，而尤其使他难以释怀的是至元 十八年(1281年)征日的惨败。
网络配图
蒙古兴起时，日本正处于镰仓幕府的统治之下。忽必烈即位，顺利解决高丽问题后，即将目光投向日本。从至元 三年至十年(1266—1273年)，忽必烈先后五次派出使臣赴日招抚，希望不战而屈人之兵，可均不得要领而回，于是引发了至元十一年(1274年)的第 一次征日。此次征讨，大军虽于今九州福冈附近博多湾等处登陆，但因遭遇台风袭击，战船大部被毁，最后无功而返。