唐高宗永徽六年（公元655年）九月，关于“废立皇后”问题，朝廷上爆发了一场大辩论。
正方一辩唐高宗，首先表示：“王皇后没有子嗣，而武昭仪有子，朕要立武昭仪为后，公等以为如何？”
反方褚遂良，在长孙无忌的授意下，立刻提出两个论点进行反驳：一是，当年太宗皇帝临终时，曾言道：“我好儿、好新妇今将付卿。”先帝之语，言犹在耳，怎可违背先帝之命。第二则是，皇后未闻有过，岂可轻废！——高宗李治则哑口无言。
第一回合，长孙无忌一方胜！
长孙无忌与褚遂良
第二天，辩论继续进行，唐高宗再次提出“废王立武”。
而褚遂良则推陈出新，又提出了两个新论点：第一，“陛下必欲易皇后，伏请妙择天下令族，何必武氏！”言下之意，武昭仪门第太低，配不上您。第二，武昭仪曾经侍奉过先帝，陛下岂能遮掩天下人的耳目？——这话说的太狠了！
此番言论，也让躲在帘子后的武昭仪大怒道：“何不扑杀此獠！”而长孙无忌则在此时，悠然说道：“褚遂良是顾命大臣，有罪不可加刑！”
第二回合，长孙无忌一方再次胜利！
然而，谁又能想到，在随后的辩论中，看似形势一片大好的长孙无忌一方，却出现了严重且奇怪的问题，以至于竟满盘皆输。
那么这个严重且奇怪的问题是什么呢？奇怪一：长孙无忌势单力孤 只有四位宰相苦撑局面
没错，在随后的辩论中，算上长孙无忌，也只有四位宰相明确表示，反对“废王立武”。褚遂良算一个，另两个则是韩瑗和来济。
在两回合辩论结束之后，韩瑗趁热打铁，连续多天上书反对立武昭仪为后。其中言辞，颇为过激：“匹夫匹妇，犹相选择，况天子乎！……《诗》云：‘赫赫宗周，褒姒灭之。’每览前古，常兴叹息。”
这是将武昭仪比作了褒姒，劝高宗皇帝不要贪恋美色而最终败国，为天下笑。
来济也上表进谏：“王者立后，上法乾坤，必择礼教名家。孝成纵欲，以婢为后，使皇统亡绝，社稷倾沦。”依然是用典故，来劝高宗皇帝吸取前车之鉴，不要立门第卑微的武氏为后。
言辞虽然犀利，然而问题却是，自此之后，长孙无忌一方就再也没人继续进谏了！
唐高宗与武媚娘
而反观武昭仪一方呢，通过拉拢、收编、重赏等等方式，迅速组成了自己的襄赞集团。先是英国公李勣投下了关键一票，表示立后一事是“陛下家事，何必更问外人！”。
然后，早就倒向武昭仪一方的新任礼部尚书许敬宗，又在朝廷上下大肆鼓吹：“田舍翁多收十斛麦，尚欲易妇；况天子欲立一后。”这话传到高宗那里之后，更加坚定了他废后的决心，随后将褚遂良贬出京城，为潭州都督。
决战进行到此，只有四位宰相明确表示反对“废王立武”，并苦苦支撑着局面。褚遂良被贬之后，他们则更加孤立无援了。
那么所谓的“关陇集团”去哪了呢？奇怪二：王皇后被废 长孙无忌不再力争了
见局面好转，唐高宗于永徽六年十月正式下诏，废掉王皇后：“王皇后、萧淑妃谋行鸩毒，废为庶人，母及兄弟，并除名，流岭南。”
所谓王皇后“谋行鸩毒”，实是罗织之罪，然而一直站在王皇后这边的长孙无忌和他的集团，竟然对此没有发声表态，既没有替王皇后喊冤，也没有再次进谏，来阻止武昭仪为后。前者或许因为王皇后大势已去，但却为何没有阻止武昭仪为后呢？实在让人不解。
要知道，长孙无忌此时已然是第一权臣，废立皇后的圣旨又是怎么通过中书省、门下省，顺利颁发的呢？
“关陇集团”哪去了？
就在废掉王皇后的几日之后，百官上表请立中宫，高宗皇帝顺势下发《立武昭仪为皇后诏》，武昭仪正式成为了武皇后。
当此之时，长孙无忌在做什么？所谓的“关陇集团”又在哪里呢？难道见大势已去，便土崩瓦解了？
其实，以上两个奇怪之处，留给了我们一个共同的问题，那就是：长孙无忌为什么变得孤立无援了？“关陇集团”在“废王立武”大辩论的关键时候，为什么没有发挥作用？两个观点：关陇集团到底去哪了？
(一)无忌专权 关陇集团乐得“坐山观虎斗”
有一种观点认为，关陇集团并没有消失，只不过厌倦了长孙无忌和褚遂良的专权垄断，乐得“事不关己高高挂起”。这种观点，是有一定道理的。
高宗即位之后，长孙无忌权臣地位日渐巩固，不仅与褚遂良结成朋党，更大肆排除异己，房遗爱案就是最大的证明。
房遗爱是房玄龄的次子，妻子是唐太宗的女儿高阳公主，然而尽管妻子血统高贵，他还是没有得到房玄龄的青睐。梁国公的爵位，最终落到了长子房遗直的囊中。而为帮助丈夫夺取爵位，高阳公主诬告房遗直对他无礼。
长孙无忌审理此案，却将谋反罪名扣在了房遗爱和高阳公主头上。而且一不做二不休，将名将薛万彻、吴王李恪、江夏王李道宗等多位重臣、宗室也牵连了进来。
房遗爱案 李恪被牵连
这样一来，长孙无忌和褚遂良的权势就达到了巅峰状态。
此案发生在永徽四年，距离“废王立武”大辩论，只有不到两年时间。当飞扬跋扈的长孙无忌面临挑战时，自然会有人选择明哲保身，比如宰相于志宁和崔敦礼，整件事中，这两位宰相始终不发一言。这，或许也代表了很多官员的态度。
（二）唐太宗时期 “关中本位”政策已经改变 “关陇集团”走向下坡路
唐太宗时期，吸取了前朝的教训，形成了以房玄龄为代表的山东士族，以魏征、马周为代表的寒族，以及以长孙无忌、 褚遂良为代表的关陇贵族集团，相互制衡的局面。这自然改变了“关中本位”的政策。