成化十二年（1476年）发生了妖狐夜出和妖道李子龙这两件事以后，明宪宗突然意识到他身边所隐藏的危机。他明白自己需要一个组织来帮他打探情报，监察百官，所以他让汪直成立了西厂。果然汪直不负所望，刚成立不久就破了大案。对于朝廷群臣来讲，西厂的成立，在某种程度上分了文臣的权力，并对文臣形成制约，显然这不是朝中文臣希望看到的。杨晔的祖上世代为官，都是文臣，杨晔家族也是官绅豪门。西厂铲除杨晔家族，意味着西厂执行了以往的锦衣卫和东厂一样的职能，即监察朝廷百官，这使朝廷文臣坐立不安。
杨晔案最后是由明宪宗出面平定的，杨泰被判了斩罪，杨晔已经死在了西厂。杨晔的家也被抄，财产悉数充官，只剩祠堂与田三十顷给还杨家。杨晔的叔父杨仕伟、妹夫董玙、从弟杨仕儆均被贬官。被杨晔收买的刑部主事王应奎、锦衣卫百户高崇等人全部被下狱，发配边卫充军。
办了此案之后，汪直和他的西厂就已经成了朝廷文臣的眼中钉，文臣们欲除之而后快。经过文臣几个月的不断弹劾，明宪宗压力越来越大，最终虽于成化十三年（1477年）六月撤除西厂，但却没有处罚汪直。这也表明明宪宗心中对汪直和西厂是认可的，只是他不得不平息朝廷文臣的怒火，只能先撤除西厂。一个月之后，朝廷文臣的怒火渐渐平息，明宪宗又把西厂给恢复了，仍让汪直任西厂厂公，西厂从此就成为悬挂在朝廷文臣头上的利剑
