志得意满之际，李义府又思量着如何“光宗耀祖”。贞观时期，太宗命大臣高士廉、岑文本等人撰修百卷《氏族志》，定四方贵族世家，时称允当。李义府以家族微贱、未能名列志书为耻，便上奏请求重修此书。他先与许敬宗奉承武后，命修志的官员将《氏族志》更名为《姓氏录》，把武氏列为第一大姓，继而谎称自己祖上是赵郡李氏，与皇室同宗。他还下令：“皇朝得五品官者，皆升士流。”此书有悖实情与礼法，将兵卒与氏族同列，备受缙绅大夫的讥讽。
李义府又请求为祖父迁移墓址，在唐高祖祖父的永康陵附近大兴土木。三原县令为讨好权臣，私自派出壮丁与牛车，日夜载土筑坟。附近七县的县令，也不得不纷纷派百姓参与修坟工事。其中高陵县县令张敬业，为人恭勤怯懦，竟不堪辛劳，累死在工地之上。其他王公大臣，则争相赠送祭奠、陪葬的厚礼，并于改葬之日，结成绵延七十里的送葬队伍。如此奢靡铺张，足见奸臣误国误民之深。
贪财弄权，难逃天网
龙朔三年（公元663年），李义府升为右相，位极人臣，“入则谄言自媚，出则肆其奸宄”，令百官敢怒而不敢言。至此，李义府完全败坏成大贪官、大奸臣，权欲熏心又无选贤才能的他，专以卖官为事，令朝堂贤愚混杂，正气衰颓。
高宗亦有所耳闻，提出告诫：“闻卿儿子、女婿皆不谨慎，多作罪过，我亦为卿掩覆，未即公言，卿可诫勗，勿令如此。”谁知，李义府早已不是当年曲意侍奉太子的小官，史书记载他的反应，“勃然变色，腮颈俱起”。他当面质问高宗：“谁向陛下道此？”高宗亦有不悦：“但我言如是，何须问我所从得耶！”李义府毫无心虚愧疚之意，未谢罪便大摇大摆地离去。高宗虽未深究，内心却大为不满。
李义府虽然枉顾庙堂君权，却也担心登高跌重，荣华成空。他请来术士杜元纪为府宅望气，杜元纪告诉他：“所居宅有狱气，发积钱二千万可厌胜。”从此，李义府敛财更甚。有一次，他召来长孙无忌之孙长孙延，告诉他：“吾为子得一官。”五日后，长孙延官拜司津监，李义府以此索贿七十万钱。
天网恢恢，疏而不失。这次卖官事件发生后，知情的大臣再也无法容忍其罪行，冒险上表弹劾。李义府风光一生，终于难逃锒铛入狱的一天。或许是他的罪孽太过深重，朝野积怨已久，武则天也未出面包庇。良知未泯的官员秉公审理，列其条条罪状。不久，高宗下诏，将李义府长期流放巂州，其子婿也受到惩戒。
奸臣落网，官民无不拍手称快。有人做文章张贴在各处街衢，把聚敛无度的李义府骂为“铜山大贼”；他的三个儿子及女婿，行事犹为凶恶放肆，时人皆称他们的落败为“诛四凶”。
然而久在苦地的李义府，仍然抱着一丝重返朝廷的幻想。乾封元年（公元666年），高宗封禅泰山，下诏大赦天下，却不许放回李义府这样的“长流人”。支撑他生存的精神支柱瞬间坍塌，李义府发疾而卒，时年五十三岁。自其流放，朝中官员依然忧惧不安，唯恐他还朝后死灰复燃，直到听说了他的死讯，才彻底安心。
从寒门学子到当朝宰相，李义府深受两代唐王的殊遇与厚望，若能做一位正直廉洁的清官，定能在史书中留下贤臣的嘉名。然而他偏要为虎作伥，惑君误国，成为奸恶之徒，落得晚景凄凉、身死名裂的下场。正如孔子所言“虽有周公之才，不足观也”，李义府赖以入仕的才情，也成了史官眼中的“猩猩能言”，不亦鄙哉。
