杨渔隐是个怪人。怪处之一，是不爱应酬。杨家在县里是数一数二的高门望族，功名奕世，很是显赫。杨渔隐的上一代曾经是一门三进士，实属难得。杨家人口多，共八房。杨家子弟彼此住得很近，都是深宅大院。门外有石鼓，后园有紫藤、木香。他们常来常往，遇有年节寿庆，都要相互宴请。上一顿的肴核才撤去，下一顿的席面即又铺开。照例要给杨渔隐送一回“知单”请大爷过来坐坐（杨渔隐是大房），杨渔隐抓起笔来画了一个字：“谢”，意思是不去。他的堂兄堂弟知道他的脾气，也不再派人催请。杨渔隐住的地方比较偏僻，地名大淖大巷。一个小小的红漆独扇板扉，不像是大户人家的住处。这是一个侧门，想必是另有一座大门的，但是大门开在什么方向，却很少人知道。便是这扇侧门也整天关着，好像里面没有住人。只有厨子老王到大淖挑水，老花匠出来挖河泥（栽花用），女佣人小莲子上街买鱼虾菜蔬，才打开一会儿。据曾经向门里窥探过的人说：这座房子外面看起来很朴素，里面的结构装修却是很讲究的，而且种了很多花木。杨渔隐怎么会住到这么一个地方来？也许这是祖上传下来的一所别业，也许是杨渔隐自己挑中的，为了清静，可以远离官衙闹市。
杨渔隐很少出来，有时到南纸店去买一点纸墨笔砚，顺便去街上闲走一会儿，街坊邻居就可以看到“大太爷”的模样。他长得微胖，稍矮，很结实，留着一把乌黑的浓髯，双目炯炯有神。
杨渔隐不爱理人，有时和一个邻居面对面碰见了，连招呼都不打一个。因此一街人都说杨渔隐架子大，高傲。这实在也有点冤枉了杨渔隐，他根本不认识你是谁！
杨渔隐交游不广，除了几个作诗的朋友，偶然应渔隐折简相邀，到他的书斋里吟哦唱和半天，是没有人敲那扇红漆板扉的。
杨渔隐所做的一件极大的怪事，是他和女佣人小莲子结了婚。这地方把年轻的女佣人都叫做“小莲子”。小莲子原来是伺候杨渔隐夫人的病的。杨渔隐的夫人很喜欢她，一见面就觉得很投缘。杨渔隐的夫人得的是肺痨，小莲子伺候她很周到，给她煎药、熬燕窝、煮粥。杨夫人没有胃口，每天只能喝一点晚米稀粥，就一碟京冬菜。她在床上躺了三年，一天不如一天。她知道没有多少日子了，就叫小莲子坐在床前的杌凳上，跟小莲子说：“我不行了。我死后，你要好好照顾老爷。这样我就走得放心了。我在地下会感激你的。”小莲子含泪点头。
杨夫人安葬之后，小莲子果然对杨渔隐伺候得很周到。每年换季，单夹皮棉，全都准备好了。冬天床上铺了厚厚的稻草，夏天换了凉席。杨渔隐爱吃鱼，小莲子很会做鱼。鳊、鮮、清蒸、氽汤、不老不嫩，火候恰到好处。
日长无事，杨渔隐就教小莲子写字（她原来跟杨夫人认了不少字），小字写《洛神赋》，教她读唐诗，还教她作诗。小莲子非常聪明，一学就会。杨渔隐把小莲子的窗课拿给他的作诗的朋友看，他们都大为惊异，连说：“诗很像那么回事，小楷也很娟秀，真是有夙慧！夙慧！”
杨渔隐经过长期考虑，跟小莲子提出，要娶她。“你跟我那么久，我已经离不开你；外人也难免有些闲话。我比你大不少岁，有点委屈了你。你考虑考虑。”小莲子想起杨夫人临终的嘱咐，就低了头说：“我愿意。”
把房屋裱糊了一下，请诗友写了几首催妆诗，贴在门后，就算办了事。杨渔隐请诗友们不要把诗写得太“艳”，说：“我这不是扶正，更不是纳宠，是明媒正娶地续弦，小莲子的品格很高，不可亵玩！”
杨渔隐娶了小莲子，在他们亲戚本家、街坊邻居间掀起了轩然大波。他们认为这简直是岂有此理！这是杨渔隐个人的事，碍着别人什么了？然而他们愤愤不平起来，好像有人踩了他的鸡眼。这无非是身份门第间的观念作怪。如果杨渔隐不是和小莲子正式结婚，而是娶小莲子为妾，他们就觉得这可以，这没有什么，这行！杨渔隐对这些议论纷纷、沸沸扬扬，全不理睬。
杨渔隐很爱小莲子，毫不避讳。他时常搀着小莲子的手，到文游台凭栏远眺。文游台是县中古迹，苏东坡、秦少游诗酒留连的地方，西望可见运河的白帆从柳树梢头缓缓移过。这地方离大淖很近，几步就到了。若遇到天气晴和，就到西湖泛舟。有人说：“这哪里是杨渔隐，这是《儒林外史》里的杜少卿！”
杨渔隐忽然得了急病。一只筷子掉到地上，他低头去捡，一头栽下去就没有起来。
小莲子痛不欲生，但是方寸不乱，她把杨渔隐的过继侄子请来，商量了大爷的后事。根据杨渔隐生前的遗志，桐棺薄殓，送入杨氏祖茔安葬，不在家里停灵。
送走了大爷，小莲子觉得心里空得很。她整天坐在杨渔隐的书房里，整理大爷的遗物：藏书法帖、古玩字画，蕉叶白端砚、田黄鸡血图章，特别是杨渔隐的诗稿，全部装订得整整齐齐，一页不缺。
小莲子不见了！不知道她是什么时候走的。厨子老王等了她几天，也不见她回来。老花匠也不见了。老王禀告了杨渔隐的过继侄儿，杨家来人到处看了看，什么东西都井井有条，一样不缺。书桌上留下一把泥金折扇，字是小莲子手写的。“奇怪！”杨家的本家叔侄把几扇房门用封条封了，就带着满脸的狐疑各自回家。厨子老王把泥金扇偷偷掖了起来，倒了一杯酒，反复看这把扇子，他也说：“奇怪！”
老王常在晚上到保全堂药铺找人聊天。杨家出了这样的事，他一到保全堂，大家就围上他问长问短。老王把他所知道的一五一十都说了。还把那把折扇拿出来给大家看。
座客当中有一个喜欢白话的张汉轩，此人走南闯北，无所不知，是个万事通。他把小莲子写的泥金折扇拿在手里翻来覆去地看，一边摇头晃脑，说：“好诗！好字！”大家问他：“张老，你对杨家的事是怎么看的？”张汉轩慢条斯理地说：“他们不是人。”——“不是人？”——“小莲子不是人。小莲子学作诗，学写字，时间都不长，怎么能得如此境界？诗有点女郎诗的味道，她读过不少秦少游的诗，本也无足怪。字，是至玉版十三行，我们县能写这种字体的小楷的，没人！老花匠也不是人。他种的花别人种不出来。牡丹都起楼子，荷花是‘大红十八瓣’，还都勾金边，谁见过？”
“他们都不是人，那，是什么？”
“是狐仙。——谁也不知道他们是从哪里来的，又向何处去了。飘然而来，飘然而去，不是狐仙是什么？”
“狐仙？”大家对张汉轩的高见将信将疑。
小莲子写在扇子上的诗是这样的：
三十六湖蒲荇香，
侬家旧住在橫塘，
移舟已过琵琶闸，
万点明灯影乱长。
这需做一点解释：高邮西边原有三十六口小湖，后来汇在一处，遂成巨浸，是为高邮湖。琵琶闸在南门外，是一个码头。