进攻的过程异常艰苦，而且也不能怪李广利能力不行，实在是汉朝在西域的"人缘"不好，所过诸城皆闭不给食，攻之不下，士卒逃、死者十之六七。面对这种状况，李广利选择撤兵回到敦煌，但这一来一回耽误了近两年时间，武帝大怒，下令退入玉门关者立斩。
这让李广利没了办法，只得停在了敦煌不敢再回退一步，然后在这里等待武帝的命令。大宛是个小国而攻不下，大夏这些国家就会渐渐轻视汉朝，大宛的宝马也不可得，乌孙、轮台会轻视困辱汉朝使者，这样会被外国所取笑。于是武帝在太初三年再次征发精兵6万、牛10万头、马3万匹，驴、骆驼万余运粮草军资，又增调甲卒18万以为后援，命令李广利再次进攻大宛。
李广利大军，围攻大宛城四十余日，杀死大宛兵将无数。大宛贵族们害怕了，以汉退兵为条件，斩了国王的头投降，献出3000余匹宝马。其实汉军此次同样伤亡惨重，返至玉门关人仅万余，马剩千匹。但终究达到了武帝的目的，李广利得封海西侯，同时给汉朝拿到了西域良马。
众所周知武帝晚年的巫蛊之祸逼死了太子刘据和感情深厚的皇后卫子夫，使得武帝自此之后长久时间都没有立皇后和太子。李广利的妹妹李夫人就是这之后最受宠的妃子，而且武帝帝陵里唯一随葬的就是李夫人，可见其受宠。这让包括李广利在内的李家动了心思，李夫人有一儿子叫刘髆封昌邑王，是李夫人和武帝唯一的儿子，而且很受宠爱。
征和三年(前90年)，李广利受命出兵五原伐匈奴的前夕，与女婿之父丞相刘屈牦合谋立昌邑王刘髆为太子。这刘髆名声不大，但他的儿子却声名显赫，就是日后当了皇帝但又被拉下来的海昏侯刘贺。可能上天觉得刘髆没有当皇帝的命，所以李广利和刘屈牦的谋划很快就败露。这种事情自然让武帝怒不可遏，于是刘屈牦被腰斩，李广利妻则被下狱。
此时李广利正在乘胜追击，听到消息惊恐万分，决定进一步追击匈奴，想要通过取得一场大胜，来让汉武帝饶其不死。但这次的战斗就超出了李广利的能力范围，最终愿望没有达成，失败后李广利选择了投降匈奴。
同李陵一样，得知投降消息的武帝也灭了李广利全族，李广利便也死心塌地留在了匈奴。起初单于将女儿嫁给他，地位在卫律之上。后来李广利与卫律发生权力斗争，卫律趁单于母亲生病时买通巫师，让巫师谎称病因是由于去世的老单于因为李广利在匈奴现单于却不杀他而发怒。
单于对巫师的话信以为真，便将李广利杀掉，用以祭神。这位能力虽平庸，但也无功无过的贰师将军因为野心而被迫留在大漠，又最终惨死在此。
李陵的投降充满了无奈，但他自己也不是完全没有问题。李陵带兵作战虽深具谋略却自恃其能，很有其祖父的自负影子。因为此，李陵才会向武帝打包票只靠自己训练的五千士卒就能与匈奴一战。
李陵对于匈奴的作战确实深具谋略，斩杀许多敌军。但兵力实在过于悬殊，得不到援军也是他早就应该明白的，而且天有不测风云让匈奴得到了一个叛徒，这些最终导致了李陵被匈奴大军重重包围以致逃脱不得。
"彼之不死，宜欲得当以报汉也"，这是司马迁对李陵的辩解，由于被俘的初期李陵并没有投降，司马迁的这句话不能说就一定是朋友的美化和维护。李陵自炫其勇、自恃其能，仅率步兵五千出征，是造成他失败的原因。但汉武帝听信谗言、不明事理、刻薄寡恩，又何尝不是加深了他个人与家族的不幸的重要原因。
北宋何去非指出，李陵的战败固然由其轻率冒进所致，但作为决策者的汉武帝也负有相等的责任。能否发挥将领的才能也看君主是否使用得当。李陵有着英勇善战的优点，却有着性格上的的致命弱点，这使他适合作为冲锋陷阵的裨将，以他的军事才能，如果在更合适的位置，应该能取得更大的成就。当李陵提议以少击众时，武帝不仅不阻止反而鼓励，在听说战败后又眼巴巴等着李陵殉国。在这件事上实在不是一个合格的用人者应有的行为，最终造成了这场悲剧。
虽然都是被迫投降，李广利自己"作死"的意味要更大一些。因为插手立储，即使回去李广利也难逃一死，贸然进攻也是为了给自己寻求一个更大的筹码，可惜天不遂人缘没有成功。犯了大忌又被打得大败，李广利的投降显得更加必然。只是到了匈奴这位"贰师将军"还是愿意争权夺利，偏偏遇到的对手还是早已在匈奴扎根许久的降将卫律，最终会死也就怪不得别人了。
"杀身成仁、舍生取义"，就算不是为了面子，当初武帝希望李陵战死的原因就在于此了。有人统计过，仅仅是《史记》中自杀可计数者有622人。李陵的所谓"偷生"注定了会被当时的人和后人责难。
不同的时代对于李陵的行为都有着和那个时代紧密相关的特色评价，王夫之就是认为李陵的失败本是其过度自信造成的，所谓忍辱负重想要报答汉朝不过是为了掩饰自己怯懦的谎言。这是坚持抗争而不投降的王夫之正常的观点和看法。
如何评价生死的价值，关键就在于在何种条件下为何种目的去决定一个艰难的选择。无论如何，这都是悲哀的。
