小帮毕竟还是小帮，要想在这么多帮派中间求得生存发展，有时仍得投靠大帮以求自保，这在江湖中称为“靠窑”，张作霖新找到的“靠窑”对象是程敬芳、程敬双帮派。
“胡子”这一行可谓是“行低人不低”，大帮里都有独特的组织机构和职务分工、名称。通常情况下，帮会首领被称为“大当家的”，又叫大哥、大掌柜，坐第一把交椅，可以发号施令，总领一切。其次是“二当家的”，也叫“正炮头”或“总炮头”，主要负责在退却时为队伍断后。
张作霖初来乍到，一、二把交椅都轮不上，他坐的是第三把交椅，称为“揽把”或“兰把子”，专司“秧子房”。“秧子房”是所有绑来的人质（称为肉票）集中关押的地方，由于绑票勒索为“胡子”的主要活动及生活来源之一，所以“秧子房”的地位很重要。
张作霖入帮后做成的第一桩“买卖”，是绑了两大车富人家的女眷。人们印象中的盗匪往往脱不开“烧杀奸淫”这四个字，但匪有匪道，东北“胡子”在后两个字上其实定有严规。首先，为避免动摇军心，“大当家的”一般不能有“家”，也就是娶媳妇（当然也有例外）。其次，严禁“压花窑”，即用强迫手段糟蹋女人。对于“压花窑”的人，他们称为“严岔子”，处理很严，一般都是死刑。
在绑女眷的过程中，张作霖对手下看得很严，底下人对这两车女眷连一句玩笑话都不敢说。事发后，富人家也如期赎票，如数交银。尽管如此，张作霖对绑女人为人质这件事仍旧十分不满。
除此之外，身为“兰把子”，必须心狠手辣，即俗语说的“心硬”。有的肉票自被抓起，就一直被绑在马上随“胡子”行走转移，无法移动，天长日久，屁股都让马背给磨烂了，大腿上生了一堆一堆的蛆。“胡子”们既怕肉票死掉，又舍不得给他们用药，于是就只能用火来烤肉票腿上的蛆。在烈火熏烤下，肉票疼得爹一声妈一声地拼命叫唤，情形惨极了，面对这一情形，胆子小或心软一点的“兰把子”根本无法承受。张作霖的胆子不算小，但心实在没那么硬。
绑了票，就要设法使人家赎回去，不然就没意义，这叫“甩出去”。为了确保尽快“甩出去”以及防止肉票逃跑，“秧子房”每天要对肉票用刑，所用刑罚大多非常严酷，其中的“熬鹰”更是令人谈之色变。“熬鹰”时，“兰把子”会先命令肉票们围着一堆火坐下，然后交给他们一个拨浪鼓或者铃铛，让他们从一头开始摇，每人摇五下，摇完再传给下一个人，到谁那里停了，监视的“胡子”就从背后给谁一棍。有人几天几宿没睡觉，被熬得受不了，摇着摇着就扎到火堆里，重者当场被烧死，轻者也得被烧个“满脸花”。
张作霖耳闻目睹，觉得这些事真的是太缺德了，他干不了。于是很快他又率部脱离双程帮，回到了赵家沟。日后张作霖发了迹，上山为匪这段经历虽然无法回避，但他总是理直气壮：“都说我张作霖当过胡子，我他妈的拿过谁一个笤帚疙瘩了？那时候我就是不服天朝所管！”
张作霖回赵家沟前，正值义和团运动兴起，东北也出现了杀洋人、焚教堂的义和团组织。1900年7月，俄国以“护路”为名，出动十几万部队侵入东北，直接剿杀东北义和团。10月，俄军将领阔比萨尔率部占领奉天，盛京将军（盛京为清代对沈阳的称呼）增祺被迫逃往辽西。
逃亡过程中，增祺所率仁字、义字两军在辽西溃散了两营，这些游兵散勇抵抗俄军虽不足，骚扰百姓却有余，当地有句俗语“兵匪一家”，就是说这些当兵的有时和“胡子”一样坏。在辽西一带，地方政府的运作完全失灵，清兵、“胡子”四下出没，到处抢劫，搅得乡里极不安宁。为了自保，地方士绅纷纷组织起由练勇所组成的“保险队”（也叫大团），通过“保险队”来为当地做“保险”。
什么叫“保险”？就是你这个村庄，他这个村庄，都由“保险队”负责保护，村里则每月付给“保险队”多少钱，以供练勇们吃喝穿用。有人套用戏曲中不太好听的说法，称之为“坐地分赃”。
“保险队”负责保护的区域叫作“保险区”，“保险区”付给“保险队”的钱就是“保险捐”，有钱的士绅多交一些，那些没什么钱甚至是赤贫的居民可以免纳。所谓拿人钱财，替人消灾，如果有兵匪抢掠“保险区”内村民的牛马车畜等财物，“保险队”必须派人追捕，乃至将祸首处死，就好像官府一样。那段时间内，辽西各地都呈现出“似无治安而有治安”的奇怪现象。
当大股“胡子”过境时，“保险队”首领还要率部到境外迎接，一半监视，一半备战，总之一句话，务必要确保其秋毫无犯。倘若对方缺乏江湖义气，不守江湖规矩，双方就免不了要大打出手，来一场恶斗。
说起真刀真枪的恶斗，除了官军，当然还是“胡子”比较在行，所以练勇一般都是被招募的游兵散勇或者“胡子”。张作霖这一回家可谓正逢其时，在岳父赵占元及其他乡绅的协助下，他也在赵家沟成立了一个“保险队”。