在历史中，岳飞之死，无疑让人痛心无比。他令金人为之胆寒，百姓见之无不欢欣鼓舞，却在收复河山的路上遭奸臣暗害，令宋朝再难收复疆土。班师回朝后，岳飞心灰意冷，已有归隐的打算，但以秦桧为首的奸臣却仍不放过他，最后以莫须有的罪名，让一个背上和心中都刻有精忠报国，以匡扶宋朝为己任的爱国名将冤屈而亡。除此之外，秦桧等人又行狠招，还对岳飞的嫡系、妻儿下了毒手，虽然如今仍有岳家后裔幸存，但那段心酸黑暗的往事，无疑闻者伤心落泪。也正因此，秦桧等人虽然一手遮天，权力极大，却令百姓乃至后世官员及帝王都厌恶不已。
宋孝宗赵昚时期，岳飞冤案终于昭雪。他先被孝宗追谥为武穆，后又追谥为忠武，并封鄂王。由于其忠君爱国的形象，他在宋、元、明三朝都极具影响力，备受推崇。明朝年间，浙江布政使周木是岳飞的忠实粉丝，他早就恨秦桧入骨，为了表达对岳飞的敬仰及对国家奸臣的痛恨，他下令用铁铸成秦桧夫妇像，让他们终日在岳飞墓前下跪，为自己的罪行赎罪。不过周木显然低估了百姓对秦桧夫妇的痛恨，两像虽是用白铁所铸，但在愤怒的民众面前，却是不堪一击，也正因此，两像很快被损坏。
明朝正德年间，李隆受任浙江指挥使。他早就听说岳飞墓在浙江，而秦桧二人的跪像也损坏严重。为此，他又命人重新打造两像，并将当年主犯之一万俟卨也加了进去。哪想，百姓一听又有“人”加入，各地民众都对三像进行了“社会的毒打”。万历年间，三像均残破不堪，无法满足百姓的日常需求。
为此，当地官员范来自掏腰包，将三座铜像全部修缮，并将谋害岳飞的帮凶张俊也加了进去。清朝年间，小说家钱彩写了一本《说岳全传》。该小说还原了那段历史，并为岳飞增加了一些神话设定。在种种因素下，《说岳全传》风靡全国，而书中的罗汝楫也被百姓义愤填膺地树立了跪像。
不过，当李卫上任后，他却认为：这个罗汝楫实在太不出名，只是个小人物，不配跪在岳飞墓前。因此命人搬走，并销毁。也正因此，当初的五座跪像也变成了四座，永远在岳飞墓前跪拜，永世遭人唾弃。