1905年初，日俄展开奉天会战，这是双方在陆地上进行的最后一次大会战，俄军在会战中伤亡惨重，被迫撤出奉天。战后，获胜的日军控制了新民地区。有些亲日派“胡子”头目早就看张作霖不顺眼，这时便趁机指控他：“雨亭伪装中立，暗中与俄军通谋。”
派驻新民的日本宪兵听到传闻后进行调查，确认张作霖有充当俄军间谍的嫌疑，因而将其秘密逮捕，并呈请“新民屯军政署”署长井户川辰三少佐，欲将张作霖处以死刑。
所谓“军政署”是日俄战争期间，日军在实际占领的东北南部所设立的一种殖民机构。日本人后来自己也承认：“名为军政署，实则为纯粹的民政厅，特别是施政方针等，如同视满洲为新占领地。”井户川辰三考虑到张作霖虽然只是一个小小的营官，但手下有很多精锐的骑兵，这些骑兵都可以为日方所用，杀了未免可惜，对日军有效地控制新民一带不利，于是便一再向满洲军总参谋长儿玉源太郎请示，要求豁免张作霖。同时，他还请满洲军司令部参谋福岛安正、田中义一从中斡旋，张作霖这才得以免于一死。
免死金牌不是白拿的，在把张作霖放出来之前，井户川辰三交给他一份写着“愿为日本军效命”内容的誓约。张作霖其时羽翼未丰，说被抓就被抓了，说要被杀头马上就会人头落地，所以他十分乖觉，誓约一递上来，连想都没想，二话不说，就在上面按了手印。
在日俄之间“踩钢丝”固然惊险万分，然而对张作霖而言，收获也是满满的。通过两边获利，至1905年，他的游击马队已从一个营扩编至三个营，若抛去个人风险因素不算，真可谓是骆驼骨头卖了象牙的价。
日俄战争的结果是日胜俄败，沙俄用于吞并东北的“黄俄罗斯”计划宣告破产。根据战后双方签订的《朴次茅斯和约》，日俄将在十八个月内，即1907年4月之前，从东北陆续撤走他们的军队。为此，朝廷特派张锡銮为奉天巡防营务处总办，到东北整理军务。
张锡銮奉命之后，即乘坐京奉铁路兼程赶往奉天，但京奉铁路只修到新民府，奉天和新民之间不通车，这样他就不得不在路过新民府时在当地暂住。就巡防营这个系统来说，张锡銮乃是张作霖的顶头上司，现在对方自己送上门来，这样的天赐良机无论如何不能轻易错过。
自设法被招安之日起，张作霖就无师自通地掌握了一套官场关系学，其中最重要的是三个要点，即巴结、应酬、馈赠。只要把这三点做到位，不怕不能给上司以好印象，从而确保今后仕途坦荡。
张锡銮为人清廉自守，官声颇佳。你要单纯送他财物，人家未必肯收，这就需要投其所好，另找突破口了。张作霖打听到，张锡銮早年就随军习武，骑术和枪法都很精湛，尤其擅长马术，绰号“快马张”。
张锡銮爱马，乘马生了病，他便舍马不坐，徒步在新民府下榻。张作霖得知这一情况后，立即从自己的战马中挑选了一匹最好的战马相送。
第二天早晨，张锡銮从下榻处走出，一眼就看到了门外所备之马。他一边上前抚摸，一边忙问随从这是哪里来的好马。随从答道：“张作霖管带说特为将军壮行敬送此马，如蒙乘用，不胜荣幸之至……”
张锡銮听了一愣：“张作霖？迄今未听过此名啊！”
虽然此前对张作霖完全不了解，但就凭这匹比自己的病马还要高出几等的好马，爱马至深的张锡銮在心情大悦的同时，对张作霖已经产生了很深很好的印象。以此为由头，两人也有了更多的接触机会，彼此交谈中，张作霖从大家都爱马这一兴趣点出发，与新上司大谈起马经，他有医马、相马的经验，也称得上是一位医马御马的好手，张锡銮和他谈得很是投机。
“馈赠”说到底还是为了“巴结”，趁张锡銮高兴，张作霖引用“同姓五百年前是一家”的俗套，提出要拜张锡銮为义父。在张锡銮眼中，张作霖早已不是一个土里土气的地方管带，而是一个才智双全的奇才了，于是当即就答应下来。
张作霖的套路还没有结束，他把手下召集到一起，从中选出二百五十名高大俊朗的骑兵，十人一排，组成二十五排，由自己亲自带队，前呼后拥地护送张锡銮去奉天城。人都是有虚荣心的，何况是新官上任，更需要下属给捧着，张作霖由此成了张锡銮到东北后培植的第一个亲信。
这时除盛京将军增祺已因故被免职外，原新民府知府增韫已升至奉天府府尹。朝中有人好做官，有张锡銮、增韫等人的多方提携关照，张作霖想不发达都难。张锡銮抵奉后不到三天，张作霖的部队即扩编为马步五营，他被任命为五营统带。如此高速度大幅度的提拔，颇具中国特色，旁人除了诧异和眼红，也莫可如何，而张作霖则眉开眼笑，满心欢喜。
东三省向被满人视为龙兴之地、陪都所在，在内忧外患不断，尤其关内随时可能爆发革命的情况下，慈禧太后对经营东北表现出了极大的热情。1907年4月，清廷下诏在东三省实行官制改革，吉林、黑龙江各设巡抚分治其事，原先奉天的盛京将军改为东三省总督。
第一任东三省总督是身兼钦差大臣的徐世昌，他带着军队上任，并且上任伊始即对地方治安进行强化。处于这种高压之下，各路中小绿林武装纷纷或亡或降或隐，原先盗匪蜂起的情况得到很大改观。剩下来的大鳄中，洪辅臣帮内发生内讧，他本人被刺死，余部被张作霖所招抚。冯麟阁和金寿山等因在首山之役中助日有功，经日本建议已由朝廷收编为省防营，不能算是江湖人物了。这样一来，实力上本就与冯麟阁处于伯仲之间的杜立三水涨船高，成了辽西独一无二的绿林老大。