署理二年陕甘总督的林扬祖，在朝廷中或没有靠山与人脉，被一句“年老力疲，难膺方面”，以原品级、正二品致仕。身在陕甘的封疆大吏，尚不知朝廷中那一场眼花缭乱的宫廷事变，林扬祖却走到了仕途的尽头。那年他只有六十二岁，正是一个朝廷命官年富力强、如日中天的政治年龄。4
史料上有不同的版本在说述着林扬祖离职致仕的原因，在广为传说的是，新任陕甘总督乐斌对林扬祖十分不满，考绩时说他“年老力疲，难膺方面”。因是，以原品休致归里。
清朝廷对一个布政使、署理陕甘总督、正二品的高官使用，会听取同样是正二品的新任总督的一面之词？那你也太不了解朝廷、皇帝把控朝局的能力，一个四五品知府的任命都要吏部严格考核，还有参考每年的履职报告、年老情况，因此，关于林扬祖因新任总督的几句评语而黯然去职，是不可取的。
林扬祖的回家之路是孤独和悲凉的，一个一心扑在工作上的能臣干吏，在当打之年致仕回乡，那是无比辛酸的。一些史料上，关于林扬祖居官清廉，一贫如洗，连回家的盘缠都没有，最后向山西汇局贷款，抵家后变卖衣服偿还。那纯粹也是胡说八道。一个二品高官，致仕后可以领到一笔巨额的养廉金，足以让他过上体面而又不失身份的生活。林扬祖的痛苦不是没有盘缠，而是官场上的失意、政治上的输赢。
从三十岁中进士入仕途，当了二十二年京官，又以正四品的道台开始外放，当了十年的高官，最终以正二品的署理陕甘总督致仕，林扬祖的人生堪称完美，应该没有什么遗憾。无论官多大总有退休的一天，尽管这一天可能早一点来到。
府第内的天井
清同治元年（1862年），林扬祖终于回到罗弄里那座两进七厢房的官宅里，但林扬祖却不会闲着，但又拾起书本，教书育人，因为二十年前，他乞休回家，终养祖母之时，身体力行，重建了擢英书院，一边为祖母养老送终，一边为莆田后学们打造一所书声朗朗的书院。此次致仕回家，林扬祖第一时间出任擢英书院山长，他点燃心中的那盏文化之灯，继续照亮孩子们的明天之路。
在居家二十二年时间里，林扬祖一直在书院这种平台上授业释疑，教课育人。他在尽一个士子的热心，尽一份赤子的忠心。郡立兴安书院是他呆了十来年的书院，或许当时城里人经常会看见一个清瘦的先生从庙前巷走出，沿着小西湖边的石磴，慢慢地穿过北门街，走到兴安书院，开始日复一日的授课。
林先生还去了仙游金石书院、厦门玉屏书院出任过山长，教书育人。先生或把余生所有的时间留给书院，留给教书这一个职业。5
在一代国师、光禄大夫、工部尚书、状元及第的翁同龢笔下，林扬祖致仕的原因或许最为温暖，在这一段文字中，林扬祖既体面且又暖人地回归故里。
“同治壬戍（同治元年，1862年），蒙圣恩赐回籍，侍养翁太恭人，课儿孙读，抚曾（曾孙）元（玄孙）以自娱，居家二十年，间与当途往来，绝不语一私事。光绪戌寅，五代同堂，蒙恩赏银缎建坊匾，岵瞻之福寿盖世所罕有，即文章经济，史册能几人哉。”
光绪戌寅年（1878年），林扬祖五代同堂，“蒙恩赏银缎建坊匾”，林扬祖致仕十六年了，光绪皇帝及朝廷并没有忘记这个咸丰年间的能臣忠臣，特恩赐敕建牌坊旌表节孝，这是莫大的哀荣，也是清后期莆田唯一一座由朝廷恩赐敕建的牌坊。
林扬祖：德配一，诰封一品夫人陈氏；侧室三人，一诰封太宜人吴氏，二黄氏、三陈氏。林扬祖的母亲翁氏也诰封为太恭人。林扬祖生子七个，长寿熙，优贡生，官陕西潼关抚民同知，正五品，在左宗棠帐下为大清江山的安定立下了战功。次子寿勋，附贡生，试用训导。三子寿煦，于咸丰五年（1855年）中福建乡试刘懿璜榜举人，官内阁中书，从七品。四子，寿照，荫补户部候补主事。六寿杰，七寿鲁。林扬祖生二女，长女适婚配试用训导翁济勋，次女适婚配浙江候补同知卢应昌。林扬祖的母亲、妻妾的受皇恩诰封，儿女们也不甘落后，纷纷在晚清官场上刷脸。
林振新前辈的后代仍住于此
林扬祖对儿女教育的重视，对书院教育的重视，对子孙们教育的重视，如出一辙。林扬祖致仕后致力于兴安书院、擢英书院的教学教育，在他孙子辈、曾孙辈产生了立杆见影的效果。林扬祖的好几个孙子学有所成，以培，附贡生，官陕西候补县丞。以增，庠生。以坤，廪贡生，盐提举衔，广东补用通判。以墉，中书科中书。以均邑庠生，以圻附贡生。以垣岁贡生，候选训导，加同知衔。
林扬祖的五个孙女均婚嫁书香门第，长孙女许配翰林院修撰王仁堪，次孙女适配候补同知陈行仁，三孙女适配国学生陈锡昌，四孙女适配业儒翁必元，五孙女适配郡庠生李澍芬。满门书香，一屋儒生，连林扬祖先生的曾孙们，或已纷纷业儒，有的已经是郡庠生。
林振新前辈的后代仍住于此
