与黄州时的处境相比，苏轼此时日子的艰苦有过之而无不及。詹范虽多方周济，终有照料不周之处。苏轼本来就怕会给詹范惹来麻烦，故而即使陷入饮食不继的困境，也不好意思开口求助。黄州时还有雪堂可以落脚栖身，住在这合江楼却总不得安生。这日，广南路安抚使来，也要下榻在合江楼，詹范心中暗恨不已，却只得再把苏轼“撵”出去。
詹范特地带了一小坛岭南桂酒，来到合江楼与苏轼对饮。詹范主动给苏轼斟上一杯，请他品尝。苏轼饮了一口，觉得美味异常，又饮了一大口，笑着对詹范赞道：“老夫自来惠州，最爱这桂酒，此酒微甜而不上头，益气补神，飘飘欲仙，实在是人间仙露。”詹范给他满上，笑道：“苏公喜欢就好，喜欢就好。”
苏轼又饮了一口，细细回味半晌，放下酒杯，一脸微笑地点点头，忽然对詹范说：“詹太守，说吧。”詹范一愣，心知没逃过苏轼的法眼，十分过意不去地“咳”了几声，忐忑不安地将来意说了，又连连打恭赔罪。
苏轼摆手坦然笑道：“你我已是朋友，不说这话。无所谓，再搬一次就是。”詹范这才放下心来：“我怕苏公心有不快，如此我就安心了。等他们一走，苏公再搬回来。”苏轼举起杯，慨然道：“不说这个了。来，饮酒。”
詹范走后，苏轼把朝云、苏过叫来，再次搬到嘉祐寺去住，路上与他们商议盖房子的事。苏轼觉得此生北徙无望，只怕要在惠州终老，须作长期打算；寄居在合江楼终非长久之计，搬来搬去麻烦不说，还让詹范为难；不如像在黄州时那样，自己盖房子，住得心里踏实，也好安心撰著诗文。朝云、苏过自无异议。
在嘉祐寺中安顿好，苏轼便去找翟秀才，问他哪里有能盖房的地可买。翟秀才建议他把房子盖在白鹤峰上。山下有片绝地，主人一家已死绝了，官府把地收了回去，但价钱再低也没人敢买。苏轼向来不信邪，便想买过来种成橘子园。
苏轼又去找詹范。詹范陪安抚使一行在合江楼饮酒，席间听说他们明日就离开惠州，嘴上假意挽留，心里十分高兴。宴罢，正要跑到寺中告诉苏轼，见苏轼过来说盖房子的事，长叹一声，心想这样也好，就说以极低的价钱卖给他，问他敢不敢要那块绝地。苏轼岂有不敢要的，二人当即说妥。
苏轼回来一说，朝云怕那块绝地对家里有妨碍，又说地里有太岁。苏轼不以为然地摆手道：“我历来不怕什么鬼邪。有，他们也得让路。小小太岁，何足挂齿。照迷信说法，他才九品官，奈何不得我。”苏过、朝云都笑了起来。
一家人筹划已定，苏过就去雇人在白鹤峰上挖地基。翟秀才来帮忙，苏轼与他一起一边和泥巴，一边说笑。翟秀才揩揩汗，笑道：“苏大人，房子一盖好，我们就成了邻居。子曰：‘德不孤，必有邻。’大人在此，不会孤独。”
苏轼颔首道：“俗话说得好，‘远亲不如近邻’。定居有好邻，持家有贤内，出外有好友，此乃人生之幸也。”翟秀才感慨地说：“这都是缘。人这一生，该办什么事，该走多少路，该识哪些人，似乎差一点都不行。大人到此，我这穷酸秀才一生无憾矣。”
苏轼笑道：“我也无憾。老兄弟，以后须改口了，不要再大人大人的，那样太见外，叫老兄即可。”翟秀才到底不敢和他称兄道弟，想了想说：“你是咱大宋的文坛宗主，永远是我们读书人的先生，就叫先生，如何？”苏轼笑了笑，摆了摆手。
这时，朝云来送饭，对苏轼耳语几句。原来，自从那日在东南郊外见了被贬之人的遗骨，朝云心中不忍，一直记挂着让他们入土为安。苏轼听了连连点头，便把此事跟翟秀才说了，道：“我还有点钱，你能否替我雇几个人，挖一个坟，把这累累白骨合葬了。尸骨不全，也只好如此了。”翟秀才一口应下：“先生仁及亡魂，实属积阴德之举。学生乃当地之人，更是责无旁贷。放心，三日内即可办好。”
果然，两日后墓已修好。苏轼刚搬回合江楼，就和翟秀才去祭拜。苏轼亲自上好水果供品，点了三炷香，执香三拜，将香插在坟土上。望着袅袅升起的轻烟，苏轼从袖中取出祭文，缓缓念道：“有宋绍圣二年，官葬曝骨于是。是岂无主，仁人君子，斯其主矣。东坡居士铭其藏曰：人耶天耶，随念而徂，有未能然，宅此枯颅。后有君子，无废此心。陵谷变坏，复棺衾之。”念完，深鞠一躬。
翟秀才燃起冥币，叹道：“原来这地方，每到夜晚，磷火不断，没人敢来。时下好了，这些孤魂野鬼可以安息了。先生做了一件积阴德的大好事。”苏轼心想自己就算终老此地，还有苏过为他殡葬，而这些人落得个曝尸野外，实在可怜，故而满怀同情地长叹道：“谁无父母，谁无妻儿老小！但愿这里不再有曝尸枯骨。”
这日，苏轼在白鹤峰上，朝云过来说詹太守有事找他。苏轼便猜只怕又是搬家的事，也不以为意。赶到家中，见詹范一脸难色地坐在那里，心知猜得八九不离十。苏轼爽快地请他有事直说，詹范只得说：“新任广东路提点刑狱要来惠州巡视，又要住合江楼。”苏轼不以为意地笑笑：“不就是再搬次家吗，你别为难。”
詹范一脸苦笑地说：“这搬来搬去，都三次了。也奇了怪了，自从苏公来后，这一贯养尊处优的各路要员们接二连三地来此。这次来的提刑我也没见过，听说姓程，叫程之才。”
苏轼听了大吃一惊：“是谁？”詹范见苏轼脸色不对，忙道：“是程之才。你们认识？”苏轼长叹一声，将四十年前的旧怨告诉了詹范。詹范“啊”了一声，惊得有些结巴起来：“那章惇把程大人派来可就……可就大有文章了。”
苏轼心知，这是章惇等人的借刀杀人之计。树欲静而风不止，苏轼一心想终老此地，求个安宁，但章惇深知这位老朋友的影响深入人心、牢不可动，因此一直念念不忘。章惇此时位居宰相，一年前却是待罪的贬官，深知朝中人事瞬息即变，生怕苏轼哪天死灰复燃，于是想出这一妙计，用这致命一击使他一蹶不振，彻底打消重返朝廷的念头。
听了苏轼这番分析，詹范急得站起来踱来踱去，连连拍着额头：“这如何是好呢？”想了半天，试探着问道：“大人是否……”苏轼知道他的意思，摆手道：“若在当势之时，先去登门和好，未尝不可。如今失意之人，焉能行此苟且之事。况且，当年错不在苏家。我若苟合，先父焉能安息九泉？”詹范默然无语，忧心忡忡。苏轼反劝道：“听天由命。俗话说得好，死猪不怕开水烫。”
第二天，程之才住到合江楼，他早听说苏轼住在这里，便问詹范为何不见人。詹范惊慌地说：“大人，苏子瞻已经搬走，您就不要……不要为难……”程之才痛苦地闭上眼，叹了口气：“你误会了，我的意思是请他搬回来住。”詹范吃惊地望着他，只得说：“我这就去告诉苏大人。”
苏轼听说此事，虽不知吉凶，却十分坦然，于是当下主动去合江楼见程之才。程之才的确并无恶意，而是真心悔过。他沉痛地说：“过去，愚兄年轻气傲，不懂道理，以致酿成惨祸，至今追悔莫及。几次想主动找到你和子由，求得你二人原谅。若能尽释前嫌，两家幸莫大焉。”苏轼喟然而叹：“尘封往事，还提它干什么！不管谁对谁错，都过去这么多年了。有结必有解，再计较这些还有什么意义？难得兄台有长者胸怀，我与子由还能说什么呢！”
程之才很是高兴：“子瞻有如此胸怀，我就放心了。”他早知章惇推荐他来此提点刑狱，是想利用苏、程两家不和来迫害苏轼。但“姑表亲，姑表亲，打断骨头连着筋”，他与苏轼本是同根生，怎能做此亲痛仇快之事。本想拒绝来广东任职，但又一想，他来还能给苏轼遮风挡雨，不然章惇还会派别人来加害，这才走马上任。
苏轼深谢他的一番好意。程之才摇头叹道：“千万不要这样说，愚兄是在补过。在这里需要些什么，尽管说。愚兄只想求你一件事。”苏轼忙道：“兄台下令即是，何来‘求’字一说？”程之才颔首道：“能否给你的外曾祖写篇碑文呢？”苏轼道：“谨遵兄命，分内之事。”
二人缓缓走在江边，一路说说笑笑。江畔青草依依，蓝天绿树倒映在悠悠碧水之中，一群白鹭飞过。
过了几日，詹范陪着程之才、苏轼游览白水山。白水山上长满了形态各异的巨大榕树和许多热带树种，整座山都是苍翠欲滴。知名的不知名的、看得见的看不见的、远处的近处的山鸟，争着鸣唱，宛若天籁。
望着那飞流直下的瀑布，苏轼欣喜不已，便问程之才对此有何感想。程之才道：“心胸荡然。不知贤弟有何高见？”苏轼凝望着瀑布，缓缓地说：“水落故能跌荡，人挫愈能奋强。水静则如处子，荡则如狂夫，入湖则为荡子，入江则为壮士。而瀑布者，乃天下唯一剪不断之布，亦是大寂寞之人的万丈白发。”程之才笑赞道：“寻常之景，入贤弟之耳目则为大道，出贤弟之口则为妙诗奇文。与弟相处，得道不远。”
苏轼俯瞰合江，见江上没有桥，心想百姓来往甚是不便，便问詹范为何无桥。詹范道：“苏公有所不知，建桥需很多钱，而州府税钱皆缴上衙。上不拨款，则桥自难建成。”苏轼若有所思地点了点头。
次日，苏轼便和詹范商议募钱修桥之事，并执意带头把原本就所剩不多的家底捐了出来，詹范只得收下。程之才听说了此事，回广州任所前捐了一千缗。但修桥要很多钱，这些还远远不够，苏轼整天为此犯愁。
因盖新房花费甚巨，修桥又几乎把家底掏空，这天剩下的一点钱用完，又没米了，晚饭只好糊弄过去，一家子饿着肚子。苏轼自我解嘲地说：“人说一觉解千愁，依我看，一觉也可忘百饿。这没有东西吃，睡觉是最好的办法。”
朝云服侍他睡下，端灯走向桌边，拿起佛经轻声诵读起来。苏轼知她以此法忘饥，忍不住坐起来，满怀歉疚地说：“自从你来我家，就没过一天好日子。黄州的苦日子过完了，这惠州的苦，又不知何时是个尽头。让我说什么好！”朝云过来扶住苏轼，看着他静静地笑道：“先生，夫妻一体，何来此语？”
苏轼轻轻握住她的手，动情地看着她，忽而抖擞起精神：“好！起来写我的《易传》，陪着你。”说罢，起身走到桌前，摊开纸，奋笔疾书起来。写了一会儿，抬起头来揉揉眼，自言自语道：“《论语传》已完成，著写《易传》用时最多，如今六十四卦也已过半，就差《书传》了。”
朝云看着他笑笑不语，坐到对面读经。苏轼边写边问朝云：“天女维摩，自入佛门，有何感受？”朝云道：“只要心中存佛，入不入佛门，都是一样。哎，方才先生叫我什么？”苏轼眯着眼，剔掉笔尖的脱毛，笑道：“天女维摩。你就是我苏家的天女维摩。”朝云忙问是何意思。苏轼解释道：“维摩又称维摩诘，是佛之化身。唐代译成无垢，即一尘不染之意。唐代诗佛王维字摩诘，即从维摩诘而来。”
朝云放下佛经，凝视着苏轼：“得先生这般爱称，朝云纵是死也知足了。”苏轼听了不由得一惊，心知不祥，忙正色道：“不许胡说。”随即笑道：“苏东坡被贬南荒，上天却赐了一个天女朝云。天不灭我，奈何奈何？！人们动辄哭天，不无道理！”朝云佯嗔道：“看你！”
让他们高兴的是，没过多久，新居终于落成。新居屹立在白鹤峰上，十多间新房错落有致，竹牖青青，槿篱疏疏，柴门北向，与合江楼相映成趣。新栽的柑橘林和山上原有的荔枝树郁郁葱葱，掩映得新居幽雅超然。苏轼带着朝云、苏过兴致勃勃地来到新居，把房前屋后、屋里室外都细细看了一遍，满意地说：“咱们又有自己的家了。此家筑成，我们就算是惠州人了。”
书斋里竹书架、床柜等都安排停当，苏轼给书斋起名为“思无邪斋”，取“《诗》三百，一言以蔽之，曰思无邪”之意。正堂起名为“德有邻堂”，取“德不孤，必有邻”之意。苏过笑道：“他人起堂名皆是三字，唯独父亲要取四个字的。”苏轼道：“名投志趣，不在乎字多字少。北归无日，为父权当自己是一个屡举不第的惠州秀才，又有何不可？随遇而安，则为大安。”
苏轼又命朝云把他那些字画收拾一下，明日要到街上去卖。他在黄州时即使家无隔宿之米，也坚守不为衣食卖字画的信条，但这回合江桥因为没有钱一直未曾动工，也只得破此例。
次日，听说苏轼要到府衙前的大街上卖画，早有人等在那里。人们纷纷议论：“苏大人的字大宋第一，我父亲盼了许久，无论如何也要得到一幅。”“苏大人的画也独具风格。”“苏大人从不为衣食卖字画，这可都是为了修桥。”“真是个大好官，偏被贬到这地方来。”
詹范和几位官员陪着苏轼走过来。苏轼摆出字画，片刻之间就被抢着买完。苏轼将交子和铜钱交给詹范，詹范数了数，共三千缗。苏轼沉思片刻，道：“还有欠缺，再想办法。”
苏辙夫妇也听说了苏轼捐钱修桥的事。苏辙已被再贬为少府监分南京，在雷州居住。雷州离惠州不远，苏辙着实希望与哥哥离得更近些，以实现当年“同归林下，风雨对床”之愿。此时，苏辙一家正在往新租的家中搬运东西。史云提议，把皇宫赐给她的首饰、金币都捐到惠州，帮苏轼建桥。
苏辙赞道：“夫人有此义举，善莫大焉。子曰，‘道不远人。唯天下至诚，当能尽其性；能尽其性，则能尽人之性；能尽人之性，则能尽物之性；能尽物之性，则可以赞天地之化育；可以赞天地之化育，则可以与天地参矣’。”史云笑道：“我可没想那么多道理。我只是想，宝器不宜多，应该像哥哥那样多为百姓做善事，以求苍天保佑夫君，保佑兄长和孩子们。”苏辙笑道：“我与哥哥都贬到这南部海州来，离观音菩萨越来越近，但愿我等化个菩萨身。”
钱终于凑够，苏轼心中的一块石头总算落地。晚上，苏轼凭窗远眺，只见滔滔江水泛着月光，听着流水之声，一时陷入沉思。朝云进门问道：“先生在想什么？是为建桥一事担忧吗？”
苏轼叹息道：“晚年得一朝云，足矣。建桥一事，钱款筹措完成，已不用过忧。我被贬南荒，连累四学士流落天涯，已经许久没有他们的音讯，时时辗转思念。”朝云心中也充满忧愁，劝道：“先生不必自疚，即使不为先生所累，当世的贤人学士又有谁不在四海飘零？”
苏轼摇摇头，叹了口气，道；“朝云，再为我唱一曲《蝶恋花.花褪残红》吧。”朝云站起身来，清了清嗓子，却一个字也唱不出来。转而低头哭泣，泪如雨下。苏轼忙问怎么了。朝云泣道：“我一想到‘枝上柳绵吹又少，天涯何处无芳草’这两句，心中感念，就不能自已。”
苏轼强笑道：“你啊，刚夸你两句，却忽然感伤起来，这可不是平日的你。”朝云拭泪笑道：“先生可以悲秋，我就不能伤春吗？”苏轼柔声道：“‘笑渐不闻声渐悄，多情却被无情恼’都是我的错，当日涂抹这首婉词，如今惹得朝云落泪，此词该废。”
朝云忙道：“不可，先生诸词之中，我最爱这一首。”苏轼凝视着朝云，眼中含泪：“原来的你生性开朗，万事无忧，如今却多愁善感起来。除了他们四个，你也是为我所累！”朝云伸手替他拭去泪水，望着远方：“此时不知四学士怎样了，也在想着先生吧。”
四学士的性情，苏轼最为了解。黄庭坚老成，晁补之心宽，张耒能耐寂寞，身处逆境，都能自遣；唯独秦观最是性情中人，苏轼最担心的就是他，生怕他经不起如此打击。
黄庭坚被贬在西南的戒州，住在一处破棚子里。这天夜里，电闪雷鸣，暴雨如注，棚子内四处漏水，躲也无处躲。他索性坐在竹椅上，望着忽明忽暗的夜雨夜空，闭目诵读当年写给苏轼的一首诗：“青松出涧壑，十里闻风声。上有百尺盖，下有千岁苓。自性得久要，为人制颓龄。小草有远志，相依在平生。医和不并世，深根且固蒂。人言可医国，何用太早计。大小材则殊，气味固相似。”
晁补之和张耒被贬去监盐酒税，晁补之在处州，张耒在筠州。当地乡亲们知道他们是苏内翰的学生、无辜被贬的好官，都对他们格外尊敬，很为他们不平，主动来帮他们的忙，让他们倍感温暖。一有空，他们或是教当地的孩子们识字读书，或是学苏轼想尽办法做好事，以回报这些淳朴的老百姓。如此，日子倒也过得去，只是心中着实记挂远在岭南的苏轼，担心这位六十一岁的老人受不了那里的苦。
此时秦观被贬往郴州，他最是多愁易感之人，一腔愁闷无以排遣，只得日日在酒楼买醉。不多时日，已是面容憔悴。这天夜里，又来酒楼喝酒，一直喝到酒客散尽。他摇摇晃晃地端起酒杯，来到窗前，只见郴江泛着粼粼月光，显得那样冷清，想起远隔千里的家人、恩师与诸友，不由得潸然涕下。他望着江月，自言自语：“先生啊先生，你时下还好吗？”
店家过来劝道：“秦学士，您喝多了，要保重贵体。自您贬到这郴州来，几乎日日大醉，这样下去，如何得了？”秦观苦笑道：“店家，多谢关照。你去忙吧。但求常醉，不省人间事。”店家无奈地下楼，口中嘟哝着：“多好的一个人儿，怎的被贬到这鬼地方？人人都道当官好，不如林中一小鸟……”
此时江雾已起，直向酒楼扑来，秦观恍然一惊，愁绪使他诗兴大发。他悠悠念道：“雾失楼台，月迷津渡，桃源望断无寻处。可堪孤馆闭春寒，杜鹃声里斜阳暮。驿寄梅花，鱼传尺素，砌成此恨无重数。郴江幸自绕郴山，为谁流下潇湘去？”念罢，凄然一笑，醉倒在窗边。
然而，他们不知道的是，苏轼正遭遇到晚年最大的打击。这天，苏轼又去建桥的工地，和翟秀才检查石料。翟秀才赞苏轼一心为民，德化一方。苏轼淡淡地说：“这算不得什么。民乐吾乐，民忧吾忧。民便吾便，民累吾累。一人生命苟活于世者，小生命也；一人生命与天下百姓生命融为一体，才是大……”一语未了，一个小和尚飞跑过来，惊慌地说：“苏大人，不好啦！你家夫人中了瘴气，昏死在路边，现正在嘉祐寺中救治。你快去吧！”苏轼登时慌了神，手中的石料也忘了丢下，不顾一切地拔脚就往嘉祐寺跑。
苏轼踉跄着冲进禅房，扑过去抱着朝云。朝云已是奄奄一息，见他进来，无力地一笑，喊了声“先生”含泪道，“朝云无福再陪你了，来世我还伺候你。”又看着苏过：“你多保重，不要喝这里的生水。先生的书稿在箱子里，保管好。”
说完这句，朝云已是气若游丝。苏轼早已如心被剜去一般，哭得气噎肠断。朝云艰难地抬起手，想替他拭去眼泪。苏轼紧紧抓住她的手，贴在自己脸上，生怕手一松开她就会飞走。
苏轼痛哭道：“云儿，你有什么话就说吧，我一定办到！”朝云忽然红光满面：“先生，你叫我什么？再叫一遍！”苏轼附耳连声轻唤：“云儿，云儿……”泪水一滴滴落在朝云脸上，朝云笑着断断续续地说：“我死后，埋在丰湖边的小丘上。”苏轼痛苦地闭上眼，点头说不出话来。