很多人都知道，赵构在56岁时就提前退位给宋孝宗，却很少有人知道，赵构实际上是被宋孝宗逼迫后退位。虽然赵构本人和大宋官方一再表示，赵构退位，是因为他觉得当皇帝太累，不如当太上皇舒服，加上他和宋孝宗父慈子孝，自然愿意把皇位主动让出来，这样也好让年富力强的宋孝宗来带领大宋人民走向富强生活。
坐在皇位上的赵构，已经难以承受皇位之重。在赵构退位的前一年，发生了一件大事，覆灭北宋的金朝撕毁合约发兵攻打南宋，赵构为了求和付出了巨大代价。他召回岳飞，处置了一大批抗金名将，岳飞等人甚至诛杀；不仅如此，他专宠秦桧的行为，更导致了群臣激愤。
每次一接到金兵南下的消息，或者是宋朝战局稍有不利，赵构第一反应就是“逃跑”。最后，要不是金兵内部发生兵变，赵构早着急跑路了。或许就是因为这件事，赵构清楚地认识到自己没有皇帝的本事，思来想去还是决定禅位，将这个烂摊子扔给下一任皇帝处理。
赵构因为担心在自己死后养子尊崇生父，自己落得个跟宋仁宗一样没有儿子的下场（仁宗养子英宗尊崇生父，不称养父仁宗为皇考），故意选择世系远的宗室，加大他们尊崇生父的阻力，保证自己的身后地位。赵构两个养子的生父均是八九品的小官，地位非常低，根本不可能被尊为皇，更别提皇帝了。