开元十年（722年）后，张说在朝廷中的威望越来越高，也越来受到李隆基的信重。开元十二年（724年），张说倡议唐玄宗封禅泰山，这个标志皇帝最高政绩的行动马上赢得了唐玄宗的欢心，于是让张说主持此事。开元十三年（725年）唐玄宗封禅泰山，事后当然论功行赏。但是人们发现张说将跟随上山的执事官都安排的自己人，论功后越级升迁为五品官，而随行的士兵却只给功勋，不给赏赐，当时朝野内外都因此埋怨张说专权偏私。由晚唐的文人段成式所写的《酉阳杂俎·语资》中记载，“明皇封禅泰山，张说为封禅使。说女婿郑镒，本九品官。旧例，封禅后自三公以下，皆迁转一级。惟郑镒因说骤迁五品，兼赐绯服。因大脯次，玄宗见镒官位腾跃，怪而问之，镒无词以对。黄幡绰曰：‘此泰山之力也。’”这也是为什么现在我们会称呼岳父为泰山的原因，由此我们也可以看出张说的确有偏私的问题。
政敌攻讦，被逼致仕
张说在这几年受宠的时候，也把他性格中暴躁、霸道的一面放大了。他不仅压制和自己意见不一的同僚，同时还因性格暴躁，对同僚当面驳斥，甚至侮辱谩骂。结果导致了一批朝臣结盟开始攻击他。
李隆基
开元十三年（726年），御史大夫崔隐甫和两个御史中丞宇文融、李林甫同时上书弹劾张说勾引术士占星、徇私舞弊、收受贿赂。唐玄宗让人查核，结果罪状大多属实。而此时张说的哥哥上殿为弟弟鸣冤，并当场割掉自己的耳朵，一时间让此案成为当时轰动朝野的案件。后来唐玄宗让亲信宦官高力士去探望张说，高力士乘机把张说当时的惨状告知玄宗，并在玄宗面前提起张说当年拥立的功劳。感念之下唐玄宗赦免了张说，只是将张说的中书令一职罢免。
但是这些政敌们当然不会轻易放弃，于是不断在唐玄宗面前诋毁弹劾张说。事件反复纠缠了将近一年，开元十五年（727年）唐玄宗终于勒令张说致仕退休，张说也为自己的私德问题付出了代价。但是更主要的原因还是张说得罪了同僚，被政敌攻击才是主因，只不过张说私德有亏才让政敌抓住了把柄。
但是攻击张说最卖力的崔隐甫和宇文融也因此时被唐玄宗厌恶，认为他们结党攻击，目的不纯。于是在张说被逼致仕之后，崔隐甫也被免官，宇文融也被外放魏州刺史。只有善于迎合上意、口蜜腹剑的李林甫安然无恙，此后一路高升到宰相之位，并成为一代奸相。
开元十六年（728年）前后，张说一案中受影响的张说、崔隐甫都重新出任出山，宇文融也重新回到朝廷。但是张说却因为这一案件政治声望大减。虽然在开元十七年（729年）重新出任宰相，但是张说主要负责的工作又回到他刚刚出仕时的文学典籍编撰工作。开元十八年（730年），张说病逝，玄宗感念他的功劳死后哀荣还是给足了，追赠了太师这一文官最高官衔。
