李夫人的另一个哥哥李广利也因她而贵，能力平庸却被汉武帝封为“贰师将军”屡屡带兵。公元前99年，李广之孙李陵因替李广利分兵，以五千步卒苦战匈奴三万骑兵，杀敌上万、兵矢既尽后降匈。司马迁因替李陵说话而被下狱，最终因无金赎罪惨遭宫刑。这可能导致他不喜欢也是外戚出身的卫、霍二人。
汉武帝晚年又宠幸上被称为钩弋夫人的赵婕妤，并将其所生儿子刘弗陵立为太子，也即后来的汉昭帝。为了让年幼的刘弗陵以后不受“母后”干扰，他毫不犹豫地杀掉赵婕妤，开了中国历史上残忍的“立子杀母”先例。
去世之前的汉武帝，做了两件最正确的事。
一是公元前89年，以“轮台罪己诏”为代表的“深陈既往之悔”：以前“所为狂悖，使天下愁苦”，以后“务在禁苛暴，止擅赋，立本农，修马复令”，国策重回“休养生息”。再是公元前87年的“临终托孤”：指定霍广、金日磾等为辅政大臣，保障了身后的“昭宣中兴”。北宋司马光《资治通鉴》因此评价他——“有亡秦之失而免亡秦之祸”。
托孤两天后，“雄才大略”的汉武帝刘彻魂归茂陵。
然而，他却对每战必胜的卫青、霍去病没有好感，尤其对少俊英雄霍去病。他在二人合传中，对很多战略意义极强、开边拓土功绩极大，甚至更传奇的战事，往往叙事简略。对霍去病的河西之战、漠北大战，他甚至引用汉武帝诏书一笔带过。
他对二人还常语含讥讽，《佞幸列传》中都不忘捎带一笔“卫青、霍去病亦以外戚贵幸”。虽然他也承认二人“然颇用材能自进”，但就是不愿多费笔墨，吝于褒赞。
平民色彩浓厚，后来又惨遭汉武帝宫刑的司马迁，不喜欢汉武帝的穷兵黩武、残暴专制、追巫求仙，也不喜欢因是皇帝女人的亲戚就一夜贵幸的外戚们。
外戚，正源于皇帝的女人们。
倾国倾城命多舛
卫青的三姐、霍去病的姨母卫子夫，是平阳公主家一名歌伎。
公元前139年，18岁的汉武帝在姐姐平阳公主府，对献歌的歌伎卫子夫一见钟情。他借口上厕所，聪明的平阳公主让卫子夫前去伺候。刘彻于“轩中”临幸了卫子夫，随后将其带回宫中。
卫子夫入宫后很得汉武帝宠幸，让皇后陈阿娇很忌妒。陈阿娇是刘彻姑姑刘嫖的千金。少年时的刘彻曾指着她说，若能得阿娇为妻，愿给她盖一座黄金屋子，从而留下“金屋藏娇”一典。“此时阿娇正骄妒”的陈阿娇，在宫中用“巫蛊”诅咒卫子夫，事发后被愤怒的刘彻废弃，从此幽居长门宫，空留千古“长门宫怨”。
两年后（公元前128年），卫子夫为刘彻生下长男刘据，母凭子贵被册封为皇后，刘据长至7岁被立为太子。卫子夫的同母异父弟卫青、二姐卫少儿及其私生子霍去病等，都因她而显贵。所以司马迁说他俩“亦以外戚贵幸”，没有错。
外戚因皇帝的女人受宠而贵幸，也会因皇帝的女人失宠而不幸。卫子夫后来“色衰爱弛”，并因“巫蛊之祸”和太子刘据分别自杀。卫青的子女在卫青故去后也相继失侯被杀。
如流星般灿烂划过汉武星空的霍去病，此后长久地成了汉人心中的民族英雄。李白诗赞“功成画麟阁，独有霍骠姚”，杜甫诗赞“借问大将谁，恐是霍骠姚”，王维诗赞“汉家将赐霍骠姚”。
骠姚，意为：轻捷、劲疾、迅猛、骁勇。
然而同时期，却有一个人始终对他没有好感。
天下豪杰聚茂陵
茂陵邑新住户司马迁，不喜欢霍去病，也不喜欢卫青。
茂陵邑设于公元前139年，当时就有富豪、儒士等六万人迁入。公元前127年，汉武帝为进一步打击豪强，软硬兼施强制天下凡家产300万石以上者都要迁此。
中原布衣大侠郭解，因“豪杰”名声过盛也名列其中。卫青曾进言郭解家贫不够条件，汉武帝讥讽道：“布衣权至大将军为言，此其家不贫”。
豪强举迁，茂陵邑一时极为豪盛，一些名人名士也纷纷自迁，大儒董仲舒、赋圣司马相如、太史令司马谈等都先后迁此居住。茂陵邑人口最多时曾达27万，且都是富户、豪强、游侠和名士，成了长安之外最兴盛的“卫星城”。
董仲舒在此完成了著名的“天人三策”，帮助大汉确立了“独尊儒术”的国策。茂陵附近今有一村名“策村”，村民多姓董，传为董仲舒后人。村旁有董仲舒墓，距霍去病墓不远。
司马相如病免后，在此留下了劝汉武帝封禅的遗书，还留下了因移情“茂陵女”而遭卓文君赋诗斥责的风流故事。
和霍去病年龄相仿的司马迁，可能是元朔二年（公元前127年）随父司马谈家徙茂陵。他在此完成了“史家之绝唱，无韵之离骚”的《史记》。
他曾问学于董仲舒，赞扬董氏“为人廉直”。他尊崇司马相如，史传中大段引用其长赋。他同情终被族灭的郭解，大赞游侠：言必信、行必果、诺必诚。他为悲情名将李广单独设传，大写其“射虎中石”“被俘脱逃”等英勇，并赞其为人“桃李不言，下自成蹊”。
