今后，香玉常来与黄生吟诗交心。黄生多次请她把绛雪也叫来，但绛雪始终不肯来，他很遗憾。香玉说：“绛姐不肯等闲与人靠近，让我渐渐地劝她。”
这时，黄生又抱怨绛雪不来。香玉说：“假定你必然要她来，我有体例。”二人挑灯来到耐冬树下，香玉折了一根草茎做尺码，自树下而上量到四尺六寸之处，按在那边，让黄生用两手搔挠。一会儿，绛雪就从背后现身了，笑骂说：“你这个丫头，就会助纣为虐。”三人拉动手进屋，香玉说：“姐姐不要怪我，你就临时陪陪郎君吧，一年后就不会滋扰你了。”绛雪只好应允。
第二年，牡丹花下公然生出花芽，而叶子刚好是五瓣。羽士以为很奇特，更加用心灌溉。三年后，那棵花高达几尺，但始终不着花。老羽士身后，他的弟子不知珍惜，见它不着花，就把它砍了。成果，那株白牡丹很快枯萎而死，不久，那株耐冬也死去了。
今后，每当黄生寥寂时，绛雪老是前来。来了二人便宴饮作诗，偶然绛雪并不过夜，黄生也不禁止。黄生常感慨：“香玉是我爱妻，绛雪是我良朋啊。”每次黄生都问她：“你是院中第几株？但愿你早奉告我，我好移到家中，免得你像香玉一样被恶人夺去，遗恨百年。”绛雪说：“故乡难移，奉告你也无益。你的老婆尚且不能从终，何况朋友呢？”黄生不听她的，强拉着绛雪到院子里，每到一棵牡丹旁就问：“这是你吗？”绛雪不答，只是掩口而笑。
以后，连续几天绛雪都没有来。黄生思念香玉，展转不眠。一天，冷雨敲窗，黄生披衣而起，在灯下吟诵了一首诗。
黄生读了，泪如雨下，并抱怨她来的次数太少了。绛雪说：“我不能像香玉那样给你暖和，只能给你一点欣喜罢了。”黄生想与她欢好，绛雪答复道：“相见的欢乐，何必在此？”
胶州黄生，舍读此中。一日，自窗中见女郎，素衣掩映花间。心疑观中焉得此，趋出，已遁去。自此屡见之。遂隐身丛树中，以伺其至。未几，女郎又偕一红裳者来，眺望之，素净双绝。行渐近，红裳者却退，曰：“此处有生人！”生暴起。二女惊奔，袖裙飘荡，香风弥漫，追太短墙，寂然已杳。倾慕弥切，因题句树下云：“无穷相思苦，含情对短窗。恐归沙吒利，那边觅无双？”归斋冥思。