他看中了一名扬州来上海的名妓乳香，就把乳香及她的两个姐妹都花重金买了下来，将她们安顿在不同的住所，他则往返于这些住所之间。极尽淫逸奢侈之能事。
眼前这座怡情别墅，住的就是乳香。徐蕴昌在闲暇之日或是每逢花朝月夕，便到这金屋藏娇之所来，倚香偎玉，排遣他在复杂的军界中积郁下来的烦恼与苦闷。至于妻子王卓如，他就没有那份闲心去照顾她了。他在上海，已有一大群佣妓，随手可拈。王卓如如今还蒙在鼓里，整天在家里找些闲书来消磨时光。从她闷闷不乐的枯槁的脸上，看得出她苍老多了。孤独、寂寞的阴影，仍笼罩着王卓如心灵深处。这些年，她渐渐认清了徐蕴昌巧言令色的嘴脸和卖身求荣的媚骨，这次回上海后他的恶行她也有所闻。徐蕴昌的汉奸行为，已在上海引起公愤。