吕后自从前次高祖欲废太子刘盈，更立赵王刘如意为太子，吃惊不小，当日所议未成，但高祖既存此心，早晚必见实行。若使废立事成，刘如意将来即了帝位，自己即使仍为太后，但刘如意乃戚夫人所生，母以子贵，戚夫人自然得势，自己反要仰其鼻息。而且太子刘盈本是嫡子，转须北面称臣，心中实在不甘。辗转寻思，欲求保全太子之位，却又无法可想，只是日常焦急愁苦，不知如何是好。旁有亲信近侍进言道：“留候张良最善设计，素得主上信用，不如使人寻他设法。”吕后依言，密遣其兄建成侯吕释之往见张良。
此时张良正托病在家学习导引之法，不食米谷闭门不出，已有年余。今闻吕释之求见，张良只得请入相见。吕释之见了张良就说道：“您一直是皇上的谋臣，现在皇上准备换太子，您怎么能够躺高枕头睡大觉啊？”
张良一听便说：“当初皇上多次处在危机中，所以采用我的计策。现在天下安定了，皇上因为个人喜好才要换太子，这是皇上的家事，即使有一百个跟我一样的谋臣去劝也没有用啊。”
吕释之一看来软的不行，于是强硬地说：“不管怎么样，你都要帮我外甥出个主意保住太子之位，不然我就不走了，跟你耗在这里”。
张良没办法，可又实在不想参与到这场政治斗争中去，尤其是皇嗣之争最是敏感。一旦被拉下水那就再也出不来了。可是吕释之象块狗皮膏药一样粘着自己，不给他个实质性的帮助肯定是不会走的。于是想了个办法，叫他找几个名声大的人去辅佐太子。这样一来，太子以后有什么问题就不会来找自己了。二来就算刘如意最后赢得了太子之位，也不会把自己当成刘盈太子党来看待。张良的想法就是不求有功，但求无过。
于是张良对吕释之说：“这件事不是动动嘴就能解决的。如今有四个人，皇上一直想任用，可人家不鸟他。这四个人现在年纪很大了，躲在深山里不肯出仕。如果您不惜金玉璧帛，再让太子写一封信，言辞谦恭有礼，并预备车辆派说客前去恳请，他们应该会来。来了之后把他们当做贵客，每遇太子入朝即令四个人相随左右，主上见了四人，太子便可保全。”吕释之问了四人姓名，谢过张良后自去回复吕后。张良所荐四人都是当时有名的高士，因他们年纪已老须发皓白，所以称为四皓。其中一人姓唐名秉字宣明，陈留襄邑人，常居园中，人称东园公。一人姓崔名广字少通，齐人，隐居夏里修道，号为夏黄公。一人姓周名术字元道，河内轵人，号角里先生。一人复姓绮里字季。此四人皆修道洁己非义不动，当日见秦始皇作事暴虐，知天下将乱，相约隐居不仕，同人商山之中。高祖既得天下，闻四人之名，下诏征之。四人知高祖待人侮慢，遂逃入终南山中，不肯来见。
当日吕释之依着张良之计往聘四人，四人起初不肯到来；后见使者来意甚诚，只得勉强从命。
四人到了长安，即住在建成侯吕释之家中，太子盈待之甚是恭敬。忽有警报传来，说是淮南王英布造反。淮南王英布本是楚将，项羽封之为九江王，后来叛楚归汉，与韩信、彭越共灭项羽，高祖仍将九江故地封给他为淮南王。英布称心如意频年来朝，君臣之间毫无猜忌。到高祖十一年春正月，听说淮阴侯韩信为吕后所杀，英布开始恐惧。