好在这些年，他竟也交了一个朋友——陈留太守卒史孙万世。
官府每个月都会派人来视察他的起居生活，和当年张敞做的事一样，刘贺都毕恭毕敬，因为知道这决定了自己的性命。但孙万世不同，他不似其他官吏那般严肃，甚至还会答应在府中喝口酒，尝尝刘贺精心琢磨的食谱，又赞一声好。
慢慢地二人熟络起来，甚至会说一些大逆不道的话。
比如孙万世曾低声问刘贺：“君侯当初见废时，为何不坚守毋出宫，斩大将军，而听人夺玺绶呢？”
“我倒是想斩啊！”刘贺也喝醉了，对霍光还恨着，竟叫起屈来：“可身边一个能用的人都没有，扔玉玺也没砸中霍光，奈何？”
说完刘贺就想起这话不能乱讲，连忙捂住了嘴，孙万世倒也保证绝不会让他人知晓。