从去年两次患病几死起，张贺就知道，自己恐怕命不久矣了。
他并不畏惧死亡，过去十几年间，甚至起过很多次自杀的念头。
第一次是征和二年，听闻卫太子死于湖县时，身为太子洗马，却在巫蛊事起后犹豫未曾直接参与兵变。张贺当时颇为惭愧，也找了数尺白绫打算追随卫太子而去。却在最后一刻，被他弟弟张安世死命抱住腿，救了回来。
张安世不是卫太子的人，始终跟在孝武皇帝身边，以其过目不忘之才颇受信赖，也由此救了张家，甚至替张贺求得宽恕，留了一条性命，但亦推下蚕室挨了刀。
那是张贺第二次生出自杀的念头，垢莫大于宫刑啊，肉体和精神的双重折磨，让他瘦了二十斤，从此形销骨立。即便被孝武皇帝任命为掖庭令，也是终日浑浑噩噩。