严格意义上来说卫青死后只有二个卫氏族人丢掉了性命，其中卫青长子长平侯卫伉被杀、卫青三姐卫子夫自杀。其余的卫氏族人都未被牵连，比如卫青的其余儿子，阴安侯卫不疑和发干侯卫登都安然无恙，只是被免官免爵而已，其他的并没有受到啥惩罚。
据《汉书.卷六十三》记载当年的巫蛊之祸除了太子刘据和卫皇后自杀外，受牵连的跟卫氏族人有关系的就只有“丞相公孙贺父子，阳石、诸邑公主，及皇后弟子长平侯卫伉皆坐诛。”，而其余的卫氏族人都未受牵连。其实事实上，卫青死后武帝并没有去诛杀卫氏族人，而之所以卫青的长子和三姐或被杀或自杀只是因为他们牵连到了巫蛊之祸中，而非其他的原因。
众所周知巫蛊之祸是西汉时期最为严重的一次宫廷政治事件，这次祸乱不仅牵连数十万人无辜受难，更甚者宰相公孙贺、太子刘据、皇后卫子夫、公主诸邑与阳石、御史大夫暴胜之等人都因此丢掉了性命，可以说影响甚大。而之所以会造成如此局面，就是武帝深信自己晚年的身体会如此的羸弱是因为受巫蛊的影响，所以当年当江充说公孙贺等人在利用巫蛊来诅咒武帝的时候，武帝就陷入了彻底的疯狂。
当武帝得知可能就是这些人要让自己早点归西的时候，他就什么都不管了，不管这个人是谁，是他的妻子，还是他的儿子，亦或是他的女儿，他都不放过。因为在武帝的心里，没有谁的命比自己的命重要，哪怕是自己的亲生骨肉都不行，所以武帝杀了一切他自己认为想要害他的人，就这样他的妻子卫子夫死了，他的儿子刘据死了，他的两个女儿也死了。
而也就是如此卫青的长子卫伉也因被牵连进巫蛊之祸，最终枉送了性命。不过虽然如此，武帝也并非就因为卫伉深陷巫蛊之乱，就牵连卫氏全族，事实上在当时卫氏除了卫伉被杀，其余的人都未被牵连。当然也并不是说武帝就不对付卫氏，在当时巫蛊之祸未发生前，卫青一家曾经的满门列侯，最终所有的侯爵都被武帝收回，先是阴安侯卫不疑、 发干侯卫登的侯爵因酎金事件被废，后就是卫伉因“矫制”先失宜春侯，之后又因擅自入宫失去长平侯。
可以说其实在巫蛊之祸之前，卫氏早就失去了所有的权势，但是武帝却好似始终都念着卫青的好，所以他最终都没有对卫氏一族进行杀戮。我想如果当时的卫伉若不是牵扯到巫蛊之祸的话，恐怕卫伉也不会死。而从中可以看出，武帝并没有在卫青死后，那么着急的就去诛杀卫氏族人，实际上也的确如此，在当时巫蛊之乱除了卫伉，其余卫青的儿子都活着好好的，甚至到了武帝之后，卫青的后代得到的结局却也算不错的了。
比如在宣帝元康四年卫登的儿子就被赐予五十万钱，然后准许复家。再比如在成帝永始元年卫登之孙卫玄被赐予长安公乘爵位，并赐予侍郎官职。又比如在平帝元始四年卫登曾孙卫赏被赐爵关内侯。
可以说在武帝的时候卫氏虽然被剥脱了一切的特权，甚至连家族的称号都被剥夺。但是武帝也始终都还是念着卫青的好，他始终都没对卫氏一族下死手。也正是因为如此，卫氏才能在极短的时间内的恢复曾经的贵族身份，当然想要回到武帝时期满门列侯的盛况是绝对不可能的了。但是从之后的卫氏还能被封为关内爵爵位的来看，卫氏的结局也算是可以的。