桑弘羊却依然则坚决主张严管国家经济，故此，即便霍光掌权，因为金日磾等人的牵制，和桑弘羊的坚持，其理财政策却并未随着武帝的去世而废除，相反，是一直贯彻执行下去的。
这期间，霍光曾经几次提出停止盐铁专卖，推行与民休息、轻徭薄赋的政策。
这让霍光和桑弘羊原本就紧张的关系变得更加严峻。
两个人因此而争执了很长时间也没有能够在这个问题上达成一致。
于是，霍光便决定，干脆请来很多贤良文士，和桑弘羊那一派人召开了一次会议，专门讨论盐铁问题。
这就是盐铁会议的由来。
在召开会议之前，霍光专门派出几位亲信大臣走访民间，一方面寻找贤良之士，一方面调查百姓生活水平，希望掌握更多有利的证据来证明盐铁专卖的弊端。
桑弘羊因此经常自夸功劳，并以此作为替子弟某官的资本，却屡屡被霍光拒绝，也因为这个原因，桑弘羊与霍光矛盾也逐渐激化。
不过，这里面有一个非常有趣的事情。
霍光征兆的贤良之士大多是儒生，而这些儒生最想废弃的在汉武帝时期被推行的政策当中排名第一的，并不是盐铁专卖制度，而是‘限田令’。即便借助给小皇帝汉昭帝刘弗陵早婚这件事成功将金系一派的官员成功‘赶’出了朝堂，可是，当然是在霍光面前提及此事的，霍光严令，不得在会议中提及这个问题。
但是，还有一个有趣的事，在参与会议中的人当中，没有一个是金系一派的官员，哪怕是那些在地方上干得非常出色的刺史或者太守，都是如此。
内中的原因很简单，因为辩不过。
金知蝉口辩天下无敌，不但是因为她口齿伶俐，思维敏捷，而且，还因为，金系官员一派在地方上政绩卓著，让人无法辩驳。
那些个贤良之士嘴上说得再如何厉害，都是口炮无敌，没有一点实绩。这是霍光亲自派下去到地方上寻访的结果。
始元五年六月，杜延年便向霍光建议行文帝时期政策，提倡节俭、对民宽和，当时，就有传闻说，已经被免去长公主身份的金知蝉在听到这个消息的时候，说过一句非常讽刺的话：在恢复文景之治之前，先抄了杜氏一族的家，杜延年之父杜周既是酷吏，又是巨贪。
杜周初为廷史，家中只有一匹装备不齐的马，可是，后来，他为廷尉、御史大夫十余年，家资累巨万。而这个时候，杜周的两个年纪较大的儿子都成为重要地区的郡守——河内郡和河东郡，控制黄河北岸重地，而且，他们和其父亲杜周一样，为政手段一样残暴、一样的贪。
消息传到长安城，惹得朝野议论纷纷，杜周羞得只能向朝廷，向汉昭帝递交辞呈。不过，霍光并没有准许，他只是请旨将杜周的两个哥哥罢免了职位，杜延年还是继续当他的谏议大夫。同时，霍光采纳了杜延年的建议，诏令三辅、太常各举“贤良”二人，各郡国察举“文学”一人。