面对这个问题，张良最初的回答却是模棱两可的，总之一句话，如今天下大定，高祖若是铁了心按自己的喜好来定太子，就算群臣上谏也是没用的。听了这回答吕泽哪敢就这么回去啊，于是，再加追问，最终，张良道：此难以口舌争之(就是光劝说高帝是没用的，得直接行动)。
最终，张良给出一计：让太子去请高帝都敦聘不至的“商山四皓”出山。
“商山四皓”是秦朝末年四位信奉黄老之学的博士：东园公唐秉、夏黄公崔广、绮里季吴实、甪里先生周术。他们是秦始皇时七十名博士官中的四位，分别职掌：通古今;辨然否;典教职。后来，他们隐居于商山，后人则用“商山四皓”来泛指有名望的隐士。
高帝见太子有这四隐士相助，觉得太子羽翼已丰，自然就不会再提易太子一事，结果，果然如其所料。在这件事中、张良最初是摆出旁观者的态度，就算后来给出良计，自己也未曾参与其中，更别说是像从前一样劝说高帝了。
同当初推让齐地三万食邑一样，这就是张良另一个聪慧之处——看得清局势，不会枉自称大、当退则退。从“帝者师”到“帝者宾”，位极人臣、实现人生目标的张良，更像是看透了人生，从而推崇起“虚无主义”!
《留候世家》中记载道：
“家世相韩，及韩灭… …封万户，位列候，此布衣之极，于良足矣。愿弃人间事，欲从赤松子游耳。”就如文章开篇写道，张良往上几代皆为韩国宰相，韩被灭，张良走上向秦复仇之路。而后，凭借才智在刘邦身边某得一席之地，成为帝师。被封万户食邑，位列诸侯，对变为平民布衣的张良来说已是莫大荣耀，余生目标完成，足矣。
最后，他决定放弃一切，辞封归隐，与赤松子一同专心修道，之后，更是学辟谷(也就是绝粒)，以轻身成仙。再后来，刘邦去世，最终，由吕后掌控朝政大权。经过废太子一事，张良对吕后也算有恩，吕后听说张良辟谷一事后，就曾多次劝说他，让他“勿自苦”。一番思索下，张良也觉得人就匆匆一世，自己又何必苦行到此!于是，又恢复了正常进食。
相传，张良助刘邦平定天下后，即寻其师黄石公居住的通城县张师山。张良在张师山相距约50公里处访得一风景宜人的黄袍山隐居下来，张良并修建了“良山道观”，在道观不远处创办了“伐桂书院”，以授当地孩子文字。伐桂书院遗址位于湖北省通城县黄袍山大埚山谷中，伐桂书院古石碑仍存。黄袍山后人为了纪念张良，为其修建了圮桥和石墓。
无论张良是真的一心向道，还是单纯的归隐避世，他的才智、谋略，他的生平事迹，都跟他的传奇故事一样，为后世人们津津乐道。
