亲兄弟燕王言之凿凿说霍光欲谋反篡位，将刘弗陵养大的盖长公主擦着眼泪为之作证，岳祖父上官桀半吓唬半威胁，御史大夫桑弘羊大义凛然表示会重整朝纲。
从后宫到地方诸侯王，似乎都被这四人党控制，只需要皇帝点点头，答应撤去霍光大司马大将军之职。
可最开始答应得好好的刘弗陵，却在最后关头反将了四人党一军，觉其诈，当有人站出来谮诬霍光时，刘弗陵辄怒曰：“大将军国家忠臣，先帝所属，敢有谮毁者，坐之！”
霍光得以扭转局势，一举掀翻四人，虽然看似一切都在他操控中，可皇帝能意识到没了“专权”的霍光，自己也难逃四人毒手，也十分不俗。
不过自那以后，昔日诸臣尊遗诏共治的局面彻底被颠覆，霍光一家独大，确实到了独揽天下权柄的程度。