千余名精兵强将，令他们于次日傍晚时分在府衙周围的每一个隐蔽处埋伏起来，而且撤掉当夜值班的所有巡兵，只留一个更夫在府门外吆喝。
深夜很快降临，洪辅臣带领他的全部百余名部众，悄无声息地摸到了新民府门外。正当他静待张作霖发出进攻信号的时候，埋伏多时的千余名精兵突然从黑暗中杀出，洪辅臣所部仓促应战，终因寡不敌众而惨败。洪辅臣被张作霖的一个手下当场击毙，其部众死去约20余人，其余部分全部被张作霖收编。
张作霖屡立奇功，受到了增韫的高度赞赏，增在给盛京将军增棋的报告中称张作霖“奋勉从公”、“安心向善”，称其所部“打仗奋勇”、“纪律严明”。
1903年7月，增韫将原新民街巡捕队与张作霖的巡警游击队合并，由张作霖统一管辖。至此，张作霖虽未升官，但其部众由原来的400人扩大到700人左右。
1905年，张作霖所部又由一个营扩大到三个营，人数也由700人扩大到近2000人。
20世纪初年的东北，在政治舞台上发号施令的，除了清王朝的地方政府以外，还有沙皇俄国与日本两大外国强盗。这两个强盗不仅占去了东北大片的土地，攫取了东北大量主权，而且在东北的土地上为了各自的利益明争暗斗甚至大打出手。自两个强盗踏入东北的那一刻起，各地风起云涌的匪帮既成了他们难以对付的心腹之患，也成了他们利用拉拢的对象。
1904年2月，日、俄两个帝国主义强盗为了争夺中国东北，在经过长时期的冷战之后，终于在中国的领土上展开了一场真刀真枪的大战，软弱无能的清朝政府对这场强盗战争不但不加制止，反而采取了不得罪任何一方的中立态度。两个强盗为了各自的利益，除了各派军队大打出手以外，还千方百计拉拢各地匪帮为自己效劳。特别是日本，他们利用广大东北人民对沙俄侵略者的仇恨，派出一批又一批的间谍到匪帮中间进行游说活动，著名匪首冯麟阁、金万福等人都先后受到日本人的笼络，充当了日本袭击俄国后方的工具。
张作霖在日、俄战争中的表现与其他匪首不同，他并不急于巴结日、俄当中的任何一方，而又不拒绝任何一方的拉拢。也就是说，他在这场强盗之争中充当了一个典型的墙头草角色，这是高明的一招，也是需要冒险精神的一招。说它高明，是因为张作霖可以同时得到两个强盗的资助：当他悄悄帮助日本人对付俄国人时，日本人会给他奖赏；而当他暗中帮助俄国人对付日本人时，俄国人也会给他好处。说它冒险，则因为事情一旦败露，张作霖随时都有身首异处的危险。
事实上，张作霖充当两面派的角色的确给他带来了相当的好处，这种好处主要是经济上和武器装备上的。日、俄战争初期，他从日、俄双方得到的各种功能不同的新式武器就有数十件之多，这些武器加上他在偷袭中抢得的各种财物，使他的队伍急剧壮大，实力加速扩张。而这种实力，又进一步引起了日、俄双方对他的重视，张作霖及其队伍的身价可谓与日俱增。或许正是这种不容忽视的实力，使他有幸逃脱了生命中的又一次劫难。
大约是1904年的年末，日军特务头子黑泽兼次郎在新民府一带活动时，偶然得知了张作霖在收取日本人好处的同时还在为俄国人卖力的消息，气得他七窍生烟，当即决定伺机杀掉张作霖。但当他将自己的决定报告给日军总司令部参谋福岛安正时，福岛当即加以制止。福岛认为，张作霖之所以在日、俄之间两面讨好，主要是因为当时战争初起，胜负之势尚不明显，他不敢冒昧地投靠任何一方以冒险，这比起那些轻易就被日本所收买的匪首来说，张作霖显然更有头脑，因而也更具有利用价值。福岛非常肯定地相信，随着胜败趋势的日益明朗，张作霖一定会自然而然地走上拥日反俄之路。
福岛的估计一点也没有错，当日本在战争中逐渐占据上风之时，张作霖果然主动地亲近日军而疏远俄军。据日本间谍土井市之进的日记记载，当他的同伴中町香桔1905年初到新民府一带活动时，一个其貌不扬，身材矮小的中国军官曾非常友好地款待过中町香桔，并以自己的家作为中叶香桔的隐藏处所。而这个中国军官就是张作霖。张作霖还亲口对中町香桔说过，他对日本军队抱有非常的好感，从今以后愿与日军合作。
事实证明，土井市之进的日记所载并非妄言。日、俄战争之后，张作霖便与日本帝国主义紧密勾结，互相利用。
杀匪讨逆，集练强兵
1906年，清廷派张锡銮为奉天巡防营务处总办，负整理军备之重任。张锡銮绰号快马张，最喜爱好马，骑术枪法十分精湛。新民府是防务重镇，新到任的张锡銮到新民府视察。张作霖为人机警，听说张总办爱马，便投其所好，挑选了一匹好马，送给了张锡銮，张见是一匹蒙古良马，心里高兴，说：“你送我人参、貂皮，算打错主意了，这样好马我怎能推出去呢？我收了。”张锡銮视察完毕，要回奉天，那时还未通火车，骑马路行又很不太平，知府增韫派张作霖率部护送，途中有胡匪骚扰，被张作霖