因为喝醉了酒误将别人马鞍放到自己马背上，结果被判为盗窃，罪当死，最后下了蚕室——事后有人跟他说，这是孝武为了警告昌邑哀王，故加重对他的处罚。
而他进宫当了宦者丞后，又遇到了上官桀谋反案，许广汉负责搜索上官桀在宫里休息的公馆，结果未能找到密柜里“几千条绳子”，又被贬为暴室啬夫。
自从女儿嫁了皇曾孙后，他家才算时来运转，许平君生长公主、皇长子，入宫为婕妤，天子后来虽然冷落了许平君，但对许家的恩裳却从未断绝，不但追封许嘉为关内侯，还封许广汉为昌成君，无列侯之名，而有列侯之实利。
他也不用在掖庭当差了，天子将那座早年在尚冠里的院落给了许广汉，又赏了十几个仆从，只需要舒舒服服养老即可。