首先，乾隆皇帝的原配皇后孝贤皇后死了，他心情不太好;其次，他掌握这个国家已有些时日，也有了基本的自信，所以他从前期比较宽仁的统治政策，变成了中后期比较严厉的统治政策。
这一年张廷玉的政治待遇也发生了两次改变。第一次是出版《御制诗集》。乾隆皇帝虽然诗写得臭，但是爱写，一天能写好多首，于是就要出版《御制诗集》，让张廷玉来监制。后来，乾隆皇帝拿到印出来的书一看，竟然有错别字!当然就要给他处分，“交部议处”。后来一次是因为张廷玉在给乾隆最珍爱的原配皇后写的祭文里用到了一个词，让皇帝很不满意，所以将他罚俸一年。
这两件事对张廷玉来说，都是非常明显的政治信号，就是说你失宠了，皇帝现在要给你点颜色看看。张廷玉当官四十多年，从来没有受过处分，突然在一年里连续被处分两次，心理上真的是受不了。可是他又不敢提，怎么办呢?只能忍着。这一忍，张廷玉的身体就更加不好了，牙也掉完了，腿也不行了，没人搀扶已经走不动路了，说话也开始颠三倒四。
乾隆十四年(1749年)腊月，皇帝有一次温语问询：“老先生你最近身体怎么样?”张廷玉一听机会来了，赶紧说还是想退休。乾隆沉吟了一下，说：“这么着吧，别着急，你先回家，容我想想。”
第二天，乾隆皇帝就给张廷玉下了一道谕旨，说张老爱卿服侍我们祖孙三代，功劳是有的，虽说岁数大了，但是我真舍不得你，怎么办呢?这么着，你自己决定，你要是下定决心了就走，你要是改主意了就别走。
其实从乾隆皇帝的性格当中，可以分析得出，他是想演一出戏——我告诉你，你功劳很大，我舍不得你，但是你老了，我又想照顾你，怎么办呢?你自己做决定。最好你明天就上表说自己虽然岁数大了，走不动道了，但想了想还是舍不得皇帝，留下算了。那皇帝就可以再下道谕旨说，算了，你还是回老家吧。
但万万没想到，张廷玉真是老了，他的政治智慧已经不够用了，他觉得这是皇上默许他走了，然后就上表谢恩。乾隆拿到这份奏折一看，说算了，我好人做到底，也不跟你为难了，走了就走了吧，就批准了。最后还加了几句话，这几句话意味深长，他说今年我四十多岁，等我五十大寿那一年，你就九十岁了，你要扶鸠进京，就是拄着你的拐杖再进京，我们君臣再聚。那意思就是，我们还要留一段佳话。你要离婚，要分床睡，那咱们就好合好散，你走吧。
一时糊涂，丢了伯爵
张廷玉回到家之后，脑子里突然蹦出一个念头——人走茶凉，破鼓万人捶，墙倒众人推，朝廷中我也不是没对头，我走了之后，他们要是天天在皇帝面前说我坏话，万一“配享太庙”的荣誉不给我了怎么办?那我损失可就大了。这是我最后的哀荣，我能不能跟皇帝要一份保证书呢?
他躺在床上翻来覆去想了好几天，终于鼓起勇气跑到宫里去见乾隆皇帝，说了一大堆，最后有一句话是“请一辞以为券”，就是请您说句话给我当个凭证，口头的也行。
乾隆皇帝看着他，觉得又好气又好笑，心想：“你的意思是，你对我爹放心，对我就不放心了?”乾隆皇帝压了压火，说：“我答应你了，就给你这券，给你这辞。”张廷玉前脚回了家，乾隆皇帝后脚就给他写了一首诗送家去了。乾隆皇帝的诗实在太臭，就不引了，意思就是，我也不是什么尧舜之君，不知道能不能配得上你这么好的臣子;但你是不是好臣子，将来我们俩这关系到底是怎么一回事，我也不知道，让后世去评价吧。这首诗里面虽未暗含杀机，但至少皇帝是不高兴了。
张廷玉做完这件事情，紧接着又出了一个昏招。按照当时的君臣礼节，皇帝赏赐臣子一件东西或者应允你一件事情后，臣子第二天要到宫门前叩头谢恩。可张廷玉觉得，好不容易提着一口气把话说出来了，也得到想要的结果了，天气这么冷，我还是继续睡，让儿子进宫代为谢恩吧。
乾隆皇帝这下就暴怒了，你张廷玉果然对我没有感情，你得到了想要的结果，居然都不来谢恩!乾隆皇帝就让军机大臣给他下旨，让他“明白回奏”，到底是怎么想的，是什么心理动机。
当时的军机大臣里有一个人叫汪由敦，后来也是清代的名臣。此人是张廷玉的弟子，他一看皇帝脸色不对，就赶紧写了张小纸条让小厮送到张廷玉家，提醒老师小心点儿。
可张廷玉真的是老了，他做了一件糊涂得不能再糊涂的事——第二天天不亮就跑到宫门前去请罪。要知道，这时候皇帝的谕旨还没到张家呢，这不是明摆着告诉皇帝有人给他通风报信吗?张廷玉年轻时绝对不会犯这种错误，但他这时真的是方寸大乱，神智已昏。
这让乾隆皇帝怎么想?谢恩的时候你说有病来不了，一听说我发火了，就立即跑来请罪，还有人给你通风报信，在我这儿搞“潜伏”?乾隆皇帝就下了道谕旨把他一通大骂，意思是，鄂尔泰好歹还平定了苗疆有点军功，你一个秘书有什么功劳?最后的处理意见是，我老爹说要让你“配享太庙”，这我不管，就给你了;但是你的伯爵是我封的，这东西你得给我留下。反正咱俩没感情了，你就走吧。
这下张廷玉可就没招了，把伯爵这份不世出的恩宠生生地丢掉了。但是他也认了，准备来年三月卖卖东西，卖卖房产，然后就回老家。
