唐开元六年的一天，唐玄宗一次去城南打猎，看到一户围墙简陋低矮的人家在忙着做什么事，还有人在悲哀哭泣，让人前去问怎么回事。一问才知道原来这户人家正是前任宰相卢怀慎的家，这天是卢怀慎去世两周年的祭日，玄宗于是赐卢怀慎家锦缎百匹。
卢怀慎在任时，唐玄宗很欣赏他，今天到这了，一定要去看看卢怀慎的墓地。玄宗来到一看，卢怀慎的坟冢跟他家里的情况一样简陋，坟丘光秃秃的，连一块碑都没有，谁都想不到一个丞相的墓地如此寒酸。想想尽忠报国忠于职守的卢怀慎死后的凄凉，唐玄宗忍不住大哭起来，当即下令为卢怀慎立碑，亲自将碑文抄写在石碑上，这就是著名的“廉洁碑”。
卢怀慎是滑州灵县人，幼年就有不凡的气质，他父亲的朋友，监察御史韩思彦见到他后，称赞这个孩子的才气不可限量!到了卢怀慎年轻时就以节俭、严谨著称了，仕途历经中宗、睿宗、玄宗三朝，最后做到丞相。
不过卢怀慎这个丞相却被人讥讽为“伴食宰相”，意思是只会陪人吃饭的丞相。真是这样吗？其实不然。他在朝政上颇有建树，他曾上奏要求堵住吏治管理的漏洞，他说最近州刺史、长史、司马以及两畿县令不用考核就可以直接上任，而且他们在职的时间很短，少的几个月，多的一两年的时间，这样做的结果只有一个就是他们只关心自己的升迁。而不去考虑怎么去治理好自己所辖的地域，去关心百姓的疾苦。因为不管自己治理的怎么样，都一样升官发财。皇上如今想要奋发图强，而下面的官员们却没有愿意这么做的，苟且偷安，导致国库亏空，百姓生活凋敝，吏治必须加以整治，国家才能长治久安。
其实卢怀慎“伴食宰相”绰号其实是过于谦虚带来的。当年卢怀慎和姚崇同朝为相，但卢怀慎感觉自己能力不如姚崇，处处以姚崇的意见为主。结果因为姚崇一次有事请假了10多天，下面官员递上来的折子他不肯批示，怕批了有不周到的地方反而耽误了事情，导致朝中政事一大堆没人处理，卢怀慎也正如他的名字一样过于谨慎了。
于是卢怀慎向玄宗请罪，玄宗没有责备他，说大事我本来就是要交给姚崇的，你只需做个忠诚的榜样就行了，因为这个很多人就讥笑卢怀慎是“伴食宰相”。而恰恰正是他不与人争权的这一点，与姚崇紧密配合，才得以让大唐开元盛世硕果辉煌。如果两个丞相意见不统一，怎么能做到政令一致呢？
卢怀慎不替姚崇处理政务并不是推诿责任，而是皇帝本就是以姚崇为主，他为辅。他深知自己的能力不如姚崇，事事将聚光灯放在姚崇身上，自己甘愿在阴影中默默做事。尽管如此，他在大是大非问题上也敢于坚持己见，
当时薛王李业的舅舅王仙童仗势欺人，残害百姓,已经被御史定罪。但唐玄宗认为王仙童是皇亲国戚，有意给他开脱罪名。卢怀慎与姚崇据理力争，跟玄宗说如果重审就说明御史做错了，这样还指望什么人能尽忠职守呢，于是坚持处决了王仙童。
王仙童的案子，有人说是唐玄宗故意想打击皇亲国戚的猖狂，才故意这么做，知道卢怀慎与姚崇一定会秉公执法，于是假装袒护卖薛王李业个面子。通过这个事情，那些为非作歹的皇亲国戚看到皇上都无力保护他们，自然收敛了很多。通过这件事也反映出卢怀慎敢于坚持己见，不畏权贵的品质。
卢怀慎身居高位，为官清廉，生活状况有时还不如一般的百姓。吃穿住行没一样好的，居住的房子漏风漏雨，家里连门都没有，一个布帘子挡一下就算是门了。穿的衣服没有装饰花纹，不过却也干干净净。出行时的行李只有一个布口袋，哪像一个大官，在别人眼里就是一个普通的老头。吃的就更不讲究了，他生重病时，宋璟和卢从愿去看他，这是他已经是吏部尚书了，按说俸禄也不少了，他留下宋璟和卢从愿吃饭，结果端上来的只有两盆蒸豆和几根青菜。
有人可能会问卢怀慎的钱上哪了，就算清廉不贪不抢，也不至于生活到这个境地吧，是博人眼球沽名钓誉吗？这么想你就错了，卢怀慎身居高位，自身的俸禄和皇上的赏赐不会少，可他却乐善好施，钱都接济亲朋好友了，他对自己刻薄，妻子、儿女自然跟着他吃粗茶淡饭，甚至吃不好穿不暖。
卢怀慎家里柴米油盐这些事可谓做的一塌糊涂，可在国家大事上却鞠躬尽瘁，病重时鼓励宋璟和卢从愿尽心辅佐玄宗，让他们多提醒皇上治国不能懈怠，病危时还上奏推荐宋璟、卢从愿、李杰和李朝隐等人才为国效力。
716年，卢怀慎去世，没有留下一点积蓄，来帮忙办丧事的人甚至饭都没吃饱，只喝了点粥垫垫。不过卢怀慎留下了一个优良的家风，两个儿子都继承了其父清廉的家风，为官清正廉明，受到唐玄宗的赞许，称这个家风为“国宝”。