朝廷上有人弹劾她父亲宠妾灭妻，如果新皇没措置也就罢了，恰好新皇措置了，因而她在英国公府的职位就难堪了起来。
一些人早就看不惯她家人在谢家的所作所为，只是之前不敢获咎她，现在看她落魄了，也就敢嘲笑她了。
别的，安然将当年从青楼和赌馆扫荡来的钱，建了很多图书馆，供豪门后辈前来借书――本来安然是想建孤儿院的，但这个后续投的钱很多，钱太少，就建不起来多少孤儿院，起不到多高文用，相反，买些读书人常用的书，在各地建些图书馆，供豪门后辈利用，他们如果是以科举得中，为官一方，就能直接造福天下，以是安然衡量后，还是建了图书馆。