失了财又丢了脸，“赌棍”们自然很不爽，他们憋了一口气，时时寻机报复。
高坎有个“耍清钱的”六大娘。有一次，大家在六大娘家聚赌。张作霖先赢后输，“赌棍”们就故意激他说：“你上次输钱割肉，这回该割狗头吧！”张作霖没想到对方会设套，果然被激怒了，当场就动起手来。“赌棍”们趁势一拥而上，仗着人多，将他按倒在地。其中有一个人拎起一把大砍刀，便朝张作霖的屁股上剁去——看这情形，纵然不死，也得落个残废。
六大娘是个寡妇，为了护场子，专门找了一个诨号“王三五”的彪形大汉。千钧一发之际，“王三五”抢上前去，一把掐住持刀者的手腕，同时大喝一声：“住手！”六大娘也赶紧过来，制止了赌徒们的血腥报复。
这次遭遇并没有让张作霖从此夹起尾巴。有一年夏天，他在一家杂货店买东西，见到了大菊二菊姐妹，二人都是高坎街上的美女，不过已经被街上的地痞于二爷给“包”了起来。于二爷扬言：“谁敢惹她们，拿命见我。”
谁都不敢惹，只有张作霖例外。自在六大娘家遭到赌徒们的围殴后，他特地拜一位老道为师，学了点“剑术”。觉得自己没什么可怕的，又有“剑术”防身，张作霖就大着胆子溜达到了二菊家，想会会二菊。不巧的是，于二爷也去了，张作霖终究没敢正面跟他相撞，悄悄地就离开了二菊家。
问题是于二爷可不会这么容易放过他，从二菊嘴里得知此事后，这厮第二天就拎着口杀猪刀找了过来。张作霖正在六大娘那儿赌博，听到大门外于二爷骂骂咧咧地闯进来，他哪里还敢使什么“剑术”或者拳脚，吓得跳出后窗户，撒腿就跑。
不料凶神恶煞般的于二爷仍在后面紧追不舍，张作霖只好跑进了曾救他一命的常掌柜的店里。大车店地方不大，很难藏得住人，常掌柜急中生智，干脆打开炕上的几个行李卷，把张作霖卷到了里面。
因为于二爷的追杀，张作霖躲了好几天。最后由常掌柜出面，找了几个街上有头有脸的人，采取请客认错的办法，才算保住了性命。
燕雀与秃鹰斗，弄它不倒反被它笑，张作霖精神上受到很大打击，他一头病倒在了居民于天朗家的门洞里。于天朗的母亲看见了，赶紧把他救回屋，并且一连抚养了他三个多月。这也是继孙老太太后，张作霖生命中再次遇到“漂母”，他于是又认于母做了干妈。
病愈后，张作霖在高坎街上已经抬不起头来了。有个叫黄木匠的，张作霖欠了他的赌资，当听到张作霖无力偿还时，他竟然当众抽了张作霖两耳光。
明白自己在高坎已无立足之地，张作霖便打算在年关前后一走了之，顺便还可以躲掉赌债。常掌柜听后，便为他凑了一些路费，当时张作霖腿生火疖，行走困难，常掌柜就把自己的毛驴也送给了他。
得知张作霖离开高坎，还骑走了常掌柜的驴，那些平时与张作霖有恩怨的赌徒们都愤愤不平。他们跑到大车店，一边数落常掌柜，一边鼓动其把毛驴要回。
禁不住众人的蛊惑，常掌柜也动摇了，当即披着旧皮褂追赶张作霖。见常掌柜顶着风雪赶来，张作霖料定他必有什么大事，忙问：“干爹，这么大的雪，有什么事吗？”常掌柜本来想硬着心肠要回毛驴，没承想这一声干爹，倒又把他叫得心软了，于是便支吾着说是来送皮褂子的。
张作霖蜷着身子，在刺骨的寒风中正冻得难耐，常掌柜送的那件旧皮褂无异于救了他半条命。当下，他穿上皮褂，重又骑上毛驴，与老爷子洒泪而别。
结束在外乡的流浪，张作霖重返赵家沟。和父亲当年一样，他对从事正当职业已经毫无耐心和兴趣，只是一味地“见赌三分喜”，而且通常都是大赌特赌，输光为止。
等到囊中空空怎么办？不耍清钱了，耍混钱！张作霖和二哥张作孚干脆蒙上脸去，跑到“通京御道”附近干起了劫道的勾当。