如此过了三月，陈大郎想起家乡生意，不得不回徽州。王氏与他难分难舍，私下将珍珠衫赠予陈大郎，道：“此是我夫家传之宝，君贴身穿着，如妾相伴。”陈大郎感动不已，发誓必尽快回来接她。
陈大郎一路南行，这日来到苏州地界，遇雨投店。同在店中歇脚的，正是往襄阳回家的蒋兴哥。二人互通姓名，陈大郎听得“蒋兴哥”三字，心下一惊，但想天下同名者多，也不说破。
兴哥见陈大郎内着珍珠衫，外罩普通外衣，心下起疑。夜间饮酒，陈大郎醉后吐出实情，夸耀自己与王氏私通之事，却不知眼前正是王氏丈夫。兴哥听得心如刀割，面上却不动声色。
次日二人同行，兴哥套出陈大郎话语，确认珍珠衫正是自家传家之宝。至分手处，兴哥假意与陈大郎结为兄弟，互换衣饰作为信物。陈大郎欣然将珍珠衫换与兴哥。
兴哥得衫后，连夜赶回襄阳。到家时，王氏欢喜相迎，却见丈夫面色阴沉。兴哥取出珍珠衫，掷于地上，厉声道：“此物如何到了外人手中？”王氏见事情败露，羞愧难当，跪地痛哭。
兴哥虽怒，念及夫妻情分，不忍休妻，只写了一纸休书，让王氏收拾细软回娘家。临行前，将休书与珍珠衫一同包了，道：“日后若遇良人，此衫可作嫁妆。”
王氏羞愧离去，回娘家后闭门不出，终日以泪洗面。
却说陈大郎回到徽州，日夜思念王氏。一年后，收拾银两再往襄阳，想接王氏同回。不料途中染病，盘缠用尽，只得典当衣物。那珍珠衫被他贴身穿着，不曾离身。
这日来到襄阳，打听王氏消息，方知事情败露，王氏已被休回娘家。陈大郎忧思成疾，一病不起，租住在城外客栈中，不几日便奄奄一息。临终前，托店小二将珍珠衫送还王氏，代致歉意。
店小二将珍珠衫送至王家，王氏见衫如见人，痛哭不已。王公觉得女儿知错，便让她留着珍珠衫。
当地有个吴知县，刚刚丧偶，听说王氏美貌，欲娶为续弦。王公觉得这是重振家声的好机会，便应下亲事。王氏本不愿再嫁，但父命难违，只得带着珍珠衫嫁入吴家。
吴知县见王氏美貌，甚是爱惜。王氏感其诚意，渐渐放下心结，安心做知县夫人。只是那珍珠衫，她始终珍藏箱底，不再取出。
次年，吴知县调任苏州知府，携家眷赴任。到任不久，接手一桩命案：有徽商陈大郎客死客栈，财物被盗。吴知府细查之下，发现案中有案。
原来那日陈大郎病重，取出珍珠衫托付店小二时，被同店旅客赵六窥见。赵六见财起意，夜间潜入房间，用枕头闷死陈大郎，盗走珍珠衫及其他财物。
吴知府明察秋毫，不久便将赵六缉拿归案。赵六对罪行供认不讳，并交出赃物。吴知府见珍珠衫价值不凡，恐另有隐情，细加审问，方知这珍珠衫竟与夫人王氏有关。
吴知府回家询问王氏，王氏见瞒不住，只得将前事和盘托出。吴知府沉吟良久，道：“此事虽不光彩，但非你之过。那陈大郎已死，蒋兴哥不知去向，珍珠衫既是你家旧物，便仍由你保管吧。”
又过二年，吴知府奉命巡查各县。这日来到某县，查阅案卷时，发现一桩纠纷案：有蒋姓商人贩运货物途经此地，与当地商户发生争执，失手伤人，被告到官府。
吴知府觉得姓名耳熟，细问之下，果然是蒋兴哥。原来兴哥自休妻后，无心经营，变卖家产四处游历。近年稍稍振作，重新做起生意，不料又惹上官司。
吴知府微服来到狱中，见蒋兴哥神情憔悴，不由心生怜悯。二人交谈后，吴知府确认此人正是王氏前夫。
回府后，吴知府对王氏道：“今日见了一人，或许是你故人。”王氏问是何人，吴知府便将蒋兴哥之事说了。王氏闻言色变，跪求道：“当日是妾对不起他，求老爷看在我的份上，救他一救。”
吴知府扶起王氏，道：“我已有计较。”
次日升堂，吴知府重审此案。查明原是当地商户欺生，故意抬价，争执中先行动手，蒋兴哥自卫误伤。吴知府判商户赔偿兴哥损失，当堂释放兴哥。
兴哥感念吴知府恩德，登门拜谢。吴知府设宴款待，席间叫出夫人相见。兴哥抬头一看，竟是王氏，顿时愕然。
王氏见前夫落魄模样，不禁泪流满面。吴知府道：“你二人本是好姻缘，因小人作祟而分离。这些年来，王氏深自悔过，蒋郎想必也已释怀。今日重逢，或许是上天给你们破镜重圆的机会。”
兴哥叹道：“当日我也有错，不该长年在外，冷落妻子。”
吴知府道：“我年事已高，近来身体不适，已有辞官归隐之意。王氏年轻，与我在一起恐误她终身。你若不弃，我愿意成全你们夫妻重逢。”