长孙无忌登上权力的巅峰时可能没有意识到，自古以来位极人臣者，在雄主眼前站的越高摔得越惨。当然，也有可能长孙无忌在自鸣得意的时候，认为唐高宗李治是个软柿子，可惜他看走眼了。
李治也是一位雄主，意识关陇集团在政治上的专权，不利于大唐王朝的长期稳固统治。唐高宗李治在掌权后，想尽办法要肢解把持朝政关陇集团，尤其是对付长孙无忌。
李治干的最重要的一件事，就是“废王立武”。
唐高宗废掉王皇后，改立武则天为皇后，表面上是皇帝的家事，但熟悉古代政治权力的朋友应该 知道，皇帝后宫的秩序背后，也是朝堂上的政治博弈。“废王立武”实际上是关陇集团与山东集团的一场命运的角斗。
王皇后的身后是关陇集团的势力，而武则天既不属于关陇集团，又不属于山东士族，她代表的是山东寒族(寒族并不是穷的意思，而是社会地位远不如“士族”门阀)。
当唐高宗试图立武则天为后时，长孙无忌、诸遂良、于志宁等关陇权贵当即表示强烈反对。这不仅仅是出于礼法考虑(武则天是太宗时的才人，相当于高宗的一个小妈)，更是因为她不是关陇集团出身。
而老将李勣作为山东集团的代表，却表示赞成。这不仅是因为山东士族对关陇集团单纯的派系斗争，李勣更是出于武则天虽是寒族，但同属山东阵营的的考虑。一个山东人作皇后，总比关陇集团的王皇后对山东士族有利。
最终，李治终于颁下诏书：以“阴谋下毒”的罪名，将王皇后和萧淑妃废为庶人，囚于别院 ;她们的父母、兄弟等也被削爵免官，流放岭南。七天以后，李治再次下诏，将武则天立为皇后;与此同时，又将反对最力的宰相褚遂良外贬。
显庆四年(659年)，许敬宗指使人向高宗呈奏密章，称监察御史李巢勾结长孙无忌，图谋造反。唐高宗也不与长孙无忌对质，便下诏削去他的官职和封邑，流徙黔州，并让沿途州府发兵护送。同年七月，唐高宗又让李勣、许敬宗复审长孙无忌谋反案。许敬宗命中书舍人袁公瑜到黔州审讯无忌谋反罪状，袁公瑜一到黔州，便逼令长孙无忌自缢。
最终，身为凌烟阁二十四功臣之首的长孙无忌，落得惨死的下场。
武则天的当权，意味着唐朝进入了山东寒族主政阶段。
武则天通过联手李勣等山东士族击败权臣长孙无忌上台，自然把关陇集团视为敌对阵营。为了巩固自己的统治，她取法隋文帝开创的科举取士制度，通过考试选拔的方式抬升了“寒族”的地位。也就是我们常说的，庶族地主集团崛起，士族门阀地位下降。这使得东汉末年至初唐的门阀家族逐渐趋于解体，终结了延续数百年的贵族社会。
后来武则天改制称帝，寒族出身的女皇，一方面破坏关陇集团，另一方面又打压山东士族，同时积极抬升山东寒族的地位。此后她又通过迁都，把东都洛阳变成了实际的政治经济文化中心，彻底颠覆了北周以来的“关中本位政策”，关陇集团因此零星瓦解，山东豪杰也渐渐不再作为集团出现。
