716年，卢怀慎病重，上表请求退休，得到玄宗的批准。同年十一月，卢怀慎病逝，去世前，他向唐玄宗推荐宋璟、李杰、李朝隐、卢从愿等人。唐玄宗十分伤感，追赠卢怀慎为荆州大都督，谥号文成。
卢怀慎一生，虽无治国大才，但他为官极为清廉，不经营其他任何产业，生活简朴清贫。他虽然官至宰相，地位尊贵，但妻子儿女仍然经常处于寒冷饥饿之中。他得到的俸禄以及朝廷的赏赐，经常毫不吝惜地给予朋友亲戚，资助别人，往往所得钱财很快散尽。
713年，卢怀慎与魏知古一同到东都洛阳主持选拔官吏，他随身的用具只有一个布袋。他得病后，朝臣宋璟、卢从愿去他在洛阳的住处看望，见他铺的席子十分单薄而且很破旧，门上连帘子都没有挂。当时刮着风，还下着雨，卢怀慎只是用席子来遮挡风雨(会风雨至，举席自障)。天晚了，他摆饭招待客人，只有两盆蒸豆、数碗蔬菜而已，十分寒碜。宋璟他们要走时，卢怀慎握着二人的手叮嘱说：“当今圣上英明，急于求得天下大治，然而他在位日久，难免对政事稍有倦怠，恐怕要有险恶小人乘机钻空子。你们经常在天子身边，一定要关注天子的举动，以免朝纲混乱啊!”他在重病之中仍关心着国家大事。
卢怀慎在去世之后，因家里没有积蓄，家人给他办丧事遇到了很大麻烦。据民间传闻，还是家中一个老仆主动卖身换钱给他买了棺材。这虽然有点夸张，但充分说明当时百姓对他的清贫的肯定。史载当时玄宗皇帝要前往东都洛阳，有四门博士张星上言皇帝说：“卢怀慎忠诚清廉，始终以正直之道处世，对他应该给予优厚的赏赐，否则就不能劝人从善。”于是玄宗下诏赏赐卢家织物百段，米粟二百石，才解了前宰相家里一时之困。
卢怀慎去世两年之后，一次唐玄宗在他老家附近打猎，无意间向卢家的方向望了一眼。因为卢怀慎家围墙十分简陋而且又低矮，玄宗感觉他家里气氛不对，好像在办什么事，就派人去他家看看。结果才知道是卢家为卢怀慎举办去世两周年祭祀典礼，事情过得很简朴。于是玄宗停止了打猎，并给卢家赏赐了几匹细绢帛。
当玄宗皇帝策马经过卢怀慎的墓时，他不由得停马凝视良久，见墓前尚未树立石碑，想必是家贫且低调所致;他继而想到卢怀慎正直而清贫的一生，不觉泪崩如潮。于是立即命官府为他立碑，且令中书侍郎苏颋草拟碑文，玄宗皇帝亲自书写(经其墓，碑表未立，停跸临视，泫然流涕，诏官为立碑，令中书侍郎苏颋为之文，帝自书)。
卢怀慎在自己去世两年之后，仍能让皇帝感动得流泪，确非一般官员所能比的。令人钦佩的还有，他不仅自己为官清廉，而且家教良好，儿子卢奂、卢弈也都是清官忠臣。不像大名鼎鼎的宰相姚崇，自己清廉，但家教不严。其子姚彝、姚异，就大贪官，曾遭到舆论的谴责，也导致姚崇自己被人诟病，最终被迫辞职。
卢怀慎的大儿子卢奂为人正直，做官清白，历任御史中丞，曾出任陕州刺史。玄宗曾赞许他的善政，说他：“斯为国宝，不坠家风”。后任南海郡太守。南海处水陆交汇之地，物产丰富，前太守刘巨鳞、彭果都因贪赃获罪。卢奂上任后，做出表率，且整顿吏治，使贪官污吏收敛了许多，政绩显著。他被认为从开元以后四十年间，治理广州有清廉节操的，唯宋璟、李朝隐、卢奂三人而已。
少子卢弈也是个大忠臣，他初为卢县县令，以功绩提拔为给事中，拜御史中丞。不久留守洛阳。安史之乱爆发后，安禄山攻陷东都，官员皆逃散而去，卢弈坚守洛阳，被乱军所俘，宁死不屈，为国殒身，成一代忠烈。
卢怀慎虽缺少治国大才，不如当时的姚崇等人，但其为官清廉的形象也当为万世之楷模。清代著名思想家王夫之说：开元之世，以清贞位宰相者三：宋璟清而劲，卢怀慎清而慎，张九龄清而和，远声色，绝货利，卓然立于有唐三百余年之中……
