高祖父虽然没有家人，但他最懂被人欺凌的苦，他一个小子，当年面对有血缘亲情的族人尚且觉得要活不下去，更别说一个嫁进不像话人家的孤女。
他去了姑娘的婆家，想以昔日娘家朋友的身分帮她一把，正遇见那姑娘一手牵着一个瘦弱的小丫头，被她牙尖嘴利的婆婆当众驱出家门。
她丈夫拿家里的钱去抽大烟，婆婆逼她娘仨去把人寻回来。姑娘跪在家门口说她愿意去烟馆，但求不要让孩子去，那地儿实在又乱又熏。她那恶婆婆叉着腰眼，又骂骂咧咧开来。在她眼里，儿媳妇和孙女都是赔钱货色，她让姑娘把自己和两个女儿押给烟馆，换她儿子和钱回来。
高祖父咬咬牙，豁了出去，把她们娘仨护到身后。姑娘被欺凌得久了，神志都不复清明，一下子没认出这位故人来。
她婆婆先声夺人，把高祖父连带着一起骂了进去，说他是姑娘在外轧的姘头。他大小是个官，拿出气势来，往那恶婆婆面前一站，噤了她叨叨胡吣的嘴。再转头问姑娘，你若不畏人言，我帮你要得他家的休书来，从此带着孩子过自己的日子。
他从来是离经叛道的，不思量自己的话有多惊世骇俗，可妙就妙在，无独有偶，姑娘竟然答应了。因为她听见可以带着女儿走，那还有什么牵挂可言呢？
经过一番不算为难的波折，高祖父帮助姑娘摆脱了婆家，要回了店主留给她的遗产。她的婆家为了让她难堪，以无出和嫉妒为由将她休离。
姑娘自由的这一年，高祖父也成家了，娶的从前同窗的小妹，父亲是乡绅，哥哥是秀才，活得无忧无虑的一个小姑娘。可惜成亲才两年多，她就因难产去世了。
丧妻之后，高祖父升迁，任杭州府同知，五品，算是挺大个官了。人们明面哀悼几句，背地里羡他，升官发财死老婆，平白占了两项。
这回再来杭州，书塾先生已经作古，同窗也各自忙碌着生活，山啊湖啊寺庙什么的，逛了几遍也就厌了。
却说一日清闲无事，在上天竺听过几遍钟声，用过斋饭，下山的路上，叫他迎面遇见两个春风桃李般粉嫩可爱的小姑娘，大的个已经初显少女风采，小的个却还是稚嫩憨实的孩童。
两个小姑娘见了他，急得手里挎着的竹篮子都掉了，香烛贡品洒一地，小鸡仔似的张开膀子拦着他不让走。一问之下，竟然是姑娘的两个女儿。
原来那年分别后，姑娘赎回了老店面，照旧经营起了父亲的书铺。高祖父听了很是震惊，他记忆中，那是个柔弱可人的姑娘，外人逗两句都要脸红的，如何能操持起一家铺子呢？
他去书铺一看，姑娘将店铺一划为二，一半是书铺，一半是茶馆，茶馆由隔壁面铺老板（当年老板娘的儿子）和她一同打理，书铺仍然是她亲自操持。茶馆的摊位从店里支到露天，客流兴盛，不少茶客手上捧着本书看得津津有味。
书铺里，姑娘正在归置一叠新书。她还是瘦瘦弱弱的模样，大约这辈子都难丰腴起来了，面上却洋溢着喜乐，整个人焕发着光彩，不是旧日羞答答的小女儿，也不是唯唯诺诺的小媳妇，而是一个自信朝气的女性，始终不变的是，她还是那桃花一般的姑娘。
高祖父顶着流言蜚语，敲锣打鼓、八抬大轿把姑娘娶回了家。这位桃花一般的姑娘就是高祖母。遗憾的是，婚后为了丈夫不被同僚耻笑，她还是收了书铺的生意。她明明识字比好些官太太都要多，为人善良且通透，却因为曾经的弃妇身分与这个圈子彻底无缘。
高祖父也因为行事过于“洒脱不羁”，名声从此便与君子堪堪差那么一截，他最后官至江苏苏松太仓道道员，在上海呆了好些年，自认对日益倾颓的国家实在是无能为力，挂冠之后住了一阵子上海，最后归老杭州。
高祖父和高祖母都活到了将近白寿（九十九岁），生育了一儿两女。
他们唯一的儿子，即惜予的曾祖父，官至巡抚，膝下六子七女，就是惜予祖父和其他五房的叔公们，也都争气上进，一家子都奔着欣欣向荣去。极盛时，子弟各个着锦袍，门庭内雕金嵌玉，宦去官来永不息。
一直传到到谢老爷那辈，六房的儿女足有三十六人，兄弟十七人，姐妹十九人。以数代为官的人家来说，仍算不上多。
按高祖父定下的规矩，谢家序齿无分男女，混着来，你生来第几，就排到那个号了。也许是人丁不旺，这样一来便有种济济一堂的兴盛。
可到惜予她们这一辈，这个规矩又废止了。皆因上一辈行廿六的小叔叔。小叔叔受惯了娇宠，做人百无禁忌的。还在学堂念书时，同一个日本姑娘好上了。
那阵子甲午才过去没几年，中日两国剑拔弩张