“退省庵”是同治八年(1869)为清朝 “四大中兴名臣”之一的彭玉麟的故居。整个建筑宏伟大气，分为门厅、南厢房和北厢房三个部分，建筑用材古朴庄重，与彭玉麟身上的人格魅力一脉相承。
彭玉麟，字雪琴，号退省庵主人，是今天湖南衡阳人氏。作为一介书生，彭玉麟却走上了为将为帅的沙场之路，是中国海军的奠基人，早年加入湘军，并率水师与太平天国军队在湘、鄂、皖及江浙一带作战，战功卓著。官至两江总督、兵部尚书，一生为官清廉，曾六辞高官，素有彭青天美称，诛杀欺男霸女的李鸿章之子，并三次请诛草菅人命的曾国藩胞弟曾国荃，1890年彭玉麟病逝于衡阳，享年74岁。清廷追赠太子太保衔，谥号刚直，并立专祠纪念。
为弘扬前辈刚直不阿、清廉正直的民族文化，保护彭玉麟故居势在必行，其故居于2004年9月破土动工到2005年2月完工，历时5月有余，耗资130余元。修缮后的彭玉麟故居肃穆大气、沉稳厚重，真实地展现了历史原貌，在退省庵正门上悬挂彭玉麟亲书“退省庵”黑底金字木匾，左右悬挂着彭玉麟自作对联，门厅正中墙上挂有彭玉麟画像并也配有一副自作联，两幅对联的大意是表达忠君爱国的拳拳之心和志向高洁之意，北墙与右墙是分别是彭玉麟简介与年表。南厢房是《传奇彭玉麟》展览。另外最有特色的是在东侧修建了上千平方米的梅花苑林，种植了各色梅花，取名“梅园”，这是对彭玉麟一生志比梅花，心念梅姑的体现。
退省庵不仅是人们休闲观光的佳处，更是彭玉麟清正廉洁、嫉恶如仇的精神传承!
彭玉麟的后人
彭玉麟是晚清时期的一位倍受尊敬的清官，但常言道"清官难断家务事"，即使是两袖清风、一身正气的彭玉麟也奈何不了家庭琐事。
了解彭玉麟的人都该知道，彭玉麟有个"青梅竹马"，但由于这个"青梅竹马"从某种意义上是彭玉麟的妹妹，所以彭玉麟的母亲不能接受这两人在一起，硬生生要把他们两人分开，于是就把这个"青梅竹马"许配给了他人，让彭玉麟迎娶了绉氏。那么，彭玉麟后人都有什么人呢?
彭永钊，彭玉麟儿子，彭玉麟后人，即是彭玉麟与夫人绉氏的儿子。要是放到晚清时期说彭玉麟后人中的这个彭永钊，相信百姓是咒骂声一片啊，虽然彭永钊是当时的富二代、官二代，但是他却没有继承父亲彭玉麟的衣钵，做个人人尊敬称赞的英雄，反而是败坏彭家家风，是个不学无术，只会作威作福的纨绔子弟。所以，彭玉麟这个儿子，当真是不可说也。
不过要是彭玉麟后人真能好好继承彭玉麟的衣钵，相信也是一桩美谈。彭玉麟还是个画梅的高手，不说彭玉麟为什么要画梅，单就说他画的梅，那可谓是惟妙惟肖、栩栩如生呐，别有一番风味，其后人若能继承他的艺术天分，想必也会是艺术界的又一代表人物;并且彭玉麟的人品、做官时的声望，那也是人人称道的，彭玉麟后人若能继承他为官做人的风度，肯定又是一个人物。
彭玉麟的儿子
彭玉麟在安徽出生，16岁随父亲回到湖南(原籍)。他不仅字写的很好，而且还擅长画梅。他读过周瑜的水军理论，所以被曾国潘所赏识重用并且掌管湘军水军，还参与过制压太平天国运动，着实是一名猛将。彭玉麟还当过官，是一个两袖清风、疾恶如仇、百姓称赞的好官，更甚的是他曾辞过六次官，也着实令人敬佩。
彭玉麟的事业算是比较成功的，但感情却是不如意。他是有真心相爱的人的，但奈何天意戏人，娶了一个不爱的人。谈到婚姻，势必要谈谈彭玉麟儿子啦!其实，关于彭玉麟儿子有两个说法，那就是有或没有～
有人说，彭玉麟儿子是在道光二十六年生的，叫做彭永钊。彭永钊，就是一个纨绔子弟。因为彭玉麟久不在家，而妻子绉氏又早死，所以他对儿子彭永钊是缺乏管教的，以至于彭永钊在民间作威作福，破坏他的名声。又有资料显示，说彭玉麟曾亲口说他的儿子不孝，说彭永钊不识艰苦，生享父荫，颐指气使，太过骄傲，甚至说彭永钊不可救药;说是这样说，可是"可怜天下父母心"，所以彭玉麟内心还是希望彭永钊，希望子弟能够做出改变，自省自惕的。但这不一定为真，因为还有另一种说法说彭玉麟是没有儿子的。
彭玉麟的一生，有人用一句话来概括，说他是一个一不要命，二不要官，三不要钱的人。也有人说，湘军名将彭玉麟是清朝最后的清官。
彭玉麟与梅姑到底有何关系
彭玉麟是湘军名将，清末中兴名臣。这么一位金戈铁马、驰骋沙场、叱咤风云的政治人物，却与一个名叫梅姑的女子有着别样恋情。那么，彭玉麟与梅姑到底有何渊源呢?
梅姑之恋说法众多，最著名的说法是彭玉麟小时候住在外婆家，最喜欢跟外婆的养女玩耍，她叫梅姑。梅姑只比彭玉麟大一点，但从辈份讲，她是彭玉麟的小姨。青梅竹马的他们，两情相悦，私定终身。但这样的恋情注定不被祝福，家人说两人八字不合反对他们。后来彭玉麟搬家，他和梅姑忍痛分别，14年后彭玉麟已成家。彭玉麟30岁时，听说舅舅去世，外婆和梅姑没人照顾，于是派人把她们接来。而梅姑到彭家不久，彭玉麟的妻子嫉恨他们的关系，唆使婆婆把梅姑嫁出去。彭玉麟曾考虑要阻止，但因决断迟了，错过了最后挽回时机。梅姑出嫁四年后，难产而死。