何况她还记得，沈通判家被灭门一事，是顾家由盛转衰的一个标志，这件事彻底引发了顾家和参知政事李家的矛盾。当时顾家在顺昌府活动，李家便说此事乃顾家所为，而顾家则说，李家与顾家当年一桩旧案有关，意指李家曾害过顾家。两家闹得不可开交，在朝堂上势如水火。但紧接着，顾家便出了私通外敌的事，随即一连串的告发，无数的罪名，贪墨、纵凶、包庇、谋私，如同烙印一样永远也洗不去，背负在了没落的顾家身上。
不过李家也并未辉煌太久，在两三年后就因贪墨步了顾家的后尘，逐渐式微，后又被归来的顾思鹤灭了十族。
这些事对谢家亦是有影响，谢家毕竟与顾家是有往来的姻亲，哪怕关系并不十分亲近。但顾家出事后亦被划分为顾家党羽，父亲不得晋升，堂祖父也出了审官院。