纪晓岚看起来颇得圣宠，地位显赫，但实际上可能也只是乾隆皇帝的一件小摆设而已。
乾隆皇帝一生喜欢做诗，算是中国历史上编打油诗最多的作者之一，可惜首流传甚少，也是莫大的讽刺。
《春明梦录》卷下里记：有一次南巡的时候，乾隆一行游到白龙寺，正好赶到庙里撞钟，乾隆突然想到一个句子，便急忙命手下铺纸，写下“白龙寺里撞金钟”七字，纪晓岚在旁边看了这貌似白话的头句，不免掩嘴窃笑。乾隆大怒，骂道：“朕诗虽然不佳，你岂能当面大笑！”纪晓岚故作惊恐道：“臣哪里敢取笑皇上，只是曾经读到古人诗里有‘黄鹤楼中吹玉笛’这么一句，臣多年来苦不能对。今见皇上的这七字，恰好是天然对偶，就忍不住就喜而失笑了！”
网络配图
“黄鹤楼中吹玉笛，白龙寺里撞金钟”，乾隆一听，觉得对得是不错，这才转怒为喜。
历史上，乾隆和纪晓岚的关系决不是电视剧里演的那样，可以和乾隆皇帝嬉笑打骂，真正的事实是，纪晓岚在乾隆心中，不过是个娼优大学士罢了！
《南巡秘记补编》里说，乾隆对自己的江南巡游颇为自豪，有一次他偶入四库馆，和纪晓岚闲谈起天子巡狩的事情。纪晓岚是个书呆子，他对乾隆频繁的南巡本就颇有微词，于是便乘机把三代之所以巡狩的原因和必要性给乾隆讲述了一番，随后又说秦始皇游幸大可不必，至于后来的隋炀帝屡幸江都，都不值得效仿；做皇帝的只要洗濯其心，用贤退不肖，天下自然大治，过多巡幸完全没有必要。
话不投机半句多，乾隆认为纪晓岚是在借古讽今，有意诽谤自己，他越听越火，等纪晓岚话音刚落，乾隆立刻变色骂道：“朕以你文学优长，故使领四库书，实不过以倡优蓄之，尔何妄谈国事！”意思是说：你纪晓岚不过是个书生，还敢妄谈国事！朕不过觉得你文学尚优，这才让你领修《四库全书》，实际上不过是把你当娼优养着罢了，你跟我谈什么国事？
这下好，纪晓岚“娼优大学士”的外号传遍朝野，弄得是人人皆知。
纪文达深以为耻，心里气不过，便以自己年纪大了为由，请求辞职。乾隆不许，说：“修《四库全书》的事情多得很，你怎么可以随便离职？何况你比朕还年轻许多，还敢在朕面前谈老，明明就是欺君。赶紧回去作好你的事情，别自己讨不痛快。”随后，乾隆又说：“朕明年还要下江南，而且要把你一起带去，让你也看看民间的盛世气象，长长你的见识，不要老是书生意气，发些不着边际的议论。”纪晓岚被这么一吓，只得唯唯叩头而退，不敢争辨。
网络配图
第二年，乾隆又跟纪晓岚说：“朕这次南下江南，本想带你一起去，但想想修《四库全书》的事情重要，要是你不在的话恐怕会有所耽搁，这次你还是别去了。况且你现在读书博洽，但还没有到融会贯通的地步，过多阅历对你也无帮助，这事不如以后再说吧。你回去好好反省，现在你还需要洗心革面，尚未到粉墨登场之时。”纪晓岚心想，不带我去就算了，还无缘无故的挨了顿骂，从此便绝口不提南巡之事，即使是其他军国大事，也不再多言。
不知为何，乾隆临行之前，又把纪晓岚找来，说：“这次还是把你带上。上次让张廷玉等人阅召各地试卷，朕都不满意。这次把阅卷权授予你，你要好自为之，勿负朕意。”于是，纪晓岚便作为扈从人员参与这次南巡。
一行人到扬州后，风流乾隆整天跑到小迷楼里淫乐快活，纪晓岚对同僚们说：“不行，这次我一定要向皇上进谏。就算是触犯龙威，也不过是九泉之下和龙逢、比干相见，总比终身得一娼优大学士的名声要好。”
纪晓岚随后便鼓起勇气进了行宫，告诉太监说自己有机要事面奏皇上。太监进去禀告后，没两分钟就出来告诉纪晓岚说：“皇上让你把试卷先搁在某房，你现在可以到平山堂去看戏，不要在这里久混。”
纪晓岚说，我这次并非是为了交试卷而来，而是有事当面奏皇上。太监笑嘻嘻的朝纪晓岚挤眼弄眼，让他别坏了乾隆的好事，也不肯再进去回复。纪晓岚催促太监去禀告，太监说：“纪先生省省吧，还是回去算了。皇上既然不想让先生多说，先生又何必在这里哓哓不休呢？先生既然以做文章为专职，文章以外何必旁及？我劝你还是早点回去，你若有诗文来，自当为你呈进。”
纪晓岚听太监话里颇有轻侮之意，又恼又羞，愤愤的说：“我今天就不回去，一定要等到皇上出来面奏。”太监一笑置之，也不管他。当时外面风大水寒，站的时间长了，纪晓岚被冻得手足俱冷，浑身上下直哆嗦，渐渐支撑不下去了。这时，另一个和他相熟的太监看见他的窘状，便过来婉言相劝：“皇上今日累了，谁来都不见。纪先生有事要奏，何不写个折子递进去？”
纪晓岚没办法，只好问太监要了纸笔写了个折子，只见他一挥而就，顷刻万言，大概意思是：“陛下这次南巡，到各地查看民情，关系甚大。民间瞻仰皇上威仪，也不是寻常游览可比。但皇上出京至此，贪图淫逸，惟漫游是好，娼优杂进，玩好毕陈，虽然天下太平不妨游玩一二，但宣淫都市恐怕会亵渎圣尊，希望陛下念创业之艰难，守安危之常戒，忧盛危明，以隋炀帝为前车之鉴，不至潜招奇祸”云云。
