对自己宠爱的小妾，纪晓岚却不惜笔墨。郭彩符是她的爱妾之一，纪晓岚在《槐西杂志》中用300余字记述说，自己被贬新疆时，郭已经病重，到关帝庙求了一支签，知道还能等到纪回来，但病却痊愈无望。果然，纪晓岚回来不久，郭氏就去世了。郭氏死后，家里整理她的遗物，纪晓岚睹物生情，写了两首诗：“风花还点旧罗衣，惆怅酴釄(音‘涂迷’)片片飞。”“百折湘裙台画栏，临风还忆步珊珊。”颇见真情。
纪晓岚对另一小妾沈明玕着墨最多，写了700多字。沈氏曾经说过，“女子应该在40岁之前就死去，这样人们还会怜惜她。”纪晓岚在《阅微草堂笔记》中收录了沈氏一首小诗：“三十年来梦一场，遗容手付女收藏。他时话我生平事，认取姑苏沈五娘。”沈氏果然30多岁就去世了。纪晓岚说，沈氏临终前，一缕芳魂还跑到他“侍值圆明园”的住处探望了他。沈氏死后，纪晓岚在她的遗像上题诗道：“春梦无痕时一瞥，最关情处在依稀。”
这些妻妾为纪晓岚生了4个儿子。其中，长子纪汝佶十分聪明，21岁就中了举人。但纪晓岚被发配新疆后，纪汝佶变得精神颓废，整天和一些诗友厮混。纪晓岚的一个学生朱子颖把纪汝佶带到泰安散心，没想到纪汝佶偶然见到《聊斋志异》的抄本，更是无心科举，埋头创作专讲狐仙鬼怪的笔记小说，让纪晓岚失望之极。纪汝佶25岁郁郁而亡，病危之时家人按风俗给他烧了一个纸马，纪汝佶突然睁开眼叫道：“我的马怎么瘸了一条腿?”家人大惊失色，原来，他们烧纸马时，不小心把马蹄给弄花了。纪晓岚记述此事时，对儿子的灵性颇有几分怜惜。但是纪晓岚也因儿子之故，对《聊斋志异》很有恶感，在《阅微草堂笔记》中多次批评。
网络配图
纪晓岚次子纪汝传当过江西南昌、九江等府通判。三子纪汝似曾捐广东候补东莞县丞。四子纪汝亿，事迹已不可考。清嘉庆十年(1805年)，纪晓岚死于京城，享年82岁。嘉庆帝曾亲往祭奠，并谥“文达”。但纪晓岚死后，家道也就中落了。
后人怀有两大愿望
纪家跟望族——南皮张家有联姻关系，《阅微草堂笔记》中记有“纪家之女适南皮张家者数十人，张家之女适纪家者亦数十人”。这个张家，就是晚清重臣张之洞家。
纪晓岚的四世孙纪堪颐，号彭年。年轻时，张之洞劝他出国留学，他就去日本士官学校学习军事，和国民党将领阎锡山、程潜等是同班同学。他后来加入了同盟会，参加了武昌起义和讨袁护国战争。他的女儿纪碧环嫁给了著名画家齐白石的公子齐良迟。晚年时，纪彭年和齐白石一起办起了一所小学，用两人名字各取一字，起名石年小学，就是今天的北京西四北四条小学。
纪晓岚有一位六世孙女纪清漪，是著名的法学家。1929年，她在北大读书时，因偶然机会发现了日本首相田中给天皇的奏折，详述日本侵华计划。她当即决定予以揭露，组织同学抄写散发。《田中奏折》就此曝光，推动了抗日救亡运动。
现在北京画院的著名画家纪清远是纪彭年的孙子，也是纪晓岚的六世孙。纪清远这些年一直从事有关纪晓岚历史文献的研究。在家庭的熏陶下，纪清远从小喜欢绘画和书法，成年后又得名师蒋兆和、周思聪二位先生的真传，作品多次在全国和市级美展中获奖，他创作的《唐人诗意图》等更为人们熟知。但他最自豪的作品，无疑是纪晓岚的画像。目前存世的纪晓岚画像仅有两张，都是纪晓岚过世后所作。而纪清远创作的这幅画像，侧重于神似，画面上纪晓岚一袭长衫，神情庄重，颇有几分仙风道骨。有人看了悬挂在阅微草堂正厅的这幅画，对纪清远说：“这画怎么有点像你?”纪清远一看，还真是这样，也忍俊不禁。
不过，在生活中，纪清远确实以身为纪家后人为荣，同时也以实际行动不辱家风，固守着淡泊名利、全心追求艺术的信念。在家中，他们不直呼纪晓岚的名字，而称“文达公”。“文达”二字的意思是“敏而好学而为文，授之以政无不达”。纪清远关注有关纪晓岚的书籍和文物，据说河北省博物馆收藏有纪晓岚使用过的小锯子、小斧子、小木锉、小熨斗等，上面还都有铭文，这引起了他的极大兴趣，研究了好一阵子。
2001年，纪清远上书北京市领导，希望恢复纪晓岚故居原貌。市委、市政府对这一建议非常重视，很快把晋阳饭庄从旧址中迁出，拨款修缮和恢复故居原貌。2002年11月30日，修葺一新的纪晓岚故居正式开馆。纪清远挥毫写下“纪晓岚故居”几个大字。8年以来，这里接待了数以万计的参观者。2004年，纪氏家族还在这里举行了纪念文达公诞辰280周年的活动。
纪清远表示，他现在有两个愿望。一是“做好文化普及，使人们认识历史上真正的文达公，不要总是‘戏说’”。另一个愿望是把“纪晓岚故居”升格为“纪晓岚纪念馆”。纪清远说：“牌匾早就写好了，是启功先生的墨宝。我期待着相关的文物、遗物能回归老宅，再把原属故居的成片民房收回，那时，启功先生笔力遒劲的牌匾就能高悬于门楣之上了。”
