张汤被迫自杀了，临死前说：“我也没什么功劳，人生最大的幸运就是得到皇帝提拔，做了这么大的官。陷害我的人，是丞相府的三位长史。”
张汤死后，他的兄弟、侄子想厚葬他，但他的母亲说：“张汤是天子大臣，被人用污秽恶毒的言语中伤而死，哪里用得着厚葬？”于是用牛车把他的尸体拉到墓地，下葬时有棺无椁，也就是普通士人的待遇。显然，张汤的母亲是想用这种寒酸的方式表达自己的不满。
汉武帝听说了，感叹：“非此母不能生此子。”于是派人调查张汤的家产，总共不过五百金，相当于五十户中等人家的资产，但以御史大夫这种级别的高官来说，自然算穷的。而且这五百金都能说清楚来源，和商人串通发财的事纯属子虚乌有。于是，汉武帝把三长史全部处死，丞相也被吓得自杀。
这件事听起来，和战国时吴起死后复仇的故事有点像，但细究起来则不太一样。张汤报仇，远不如吴起彻底。逼死张汤的三股势力，他只报复了1/3。
这也正是张汤明智的地方。他的临终遗言，不提刘彭祖，因为汉武帝面子上特别讲究“亲亲之道”，不会因为冤枉了一个酷吏而去动自己的兄弟;也不提减宣，那个案子证据确凿，提了只能证明自己罪有应得;只有三长史这边，自己确实是被诬陷的，把焦点集中到这里，更能激起皇帝的怜悯之心——张汤的遗言，重点不是报仇，而是为儿子铺路。
到昭帝、宣帝时代，张安世被封为富平侯，贵盛无比。后来班固写《汉书》的时候，把张汤从酷吏当中抽了出来，单独立传。倒不是他觉得张汤不是酷吏，而是“汉兴以来，侯者百数，保国持宠，未有若富平者也”。有汉一代，封侯的人很多，往往逐代而衰，唯有张汤家族，一直富贵绵延。他们一家世世代代混得太成功，和别人挤在一篇传记里放不下。
