張作霖當上清朝營官之後的第三年，即1904年2月，日俄戰爭爆發。雙方為霸佔東北地區豐富的資源而進行拚死爭奪。面對這場戰爭，清朝政府採取了局外中立的態度，劃出地盤讓日俄軍隊在中國土地上相拚。1904年2月12日，光緒皇帝宣佈：“日俄兩國失和用兵，朝廷軫念彼此均系友邦，應按局外中立之例辦理。”
北洋大臣袁世凱則認為，中國既不能參戰，也不能幫著任何一方，如果幫了日本，那麼俄國的陸軍就會在我國西北邊境採取行動，如果幫助了俄國，日本海軍又會對我國東南沿海地區構成威脅，置身局外最好。
盛京將軍增祺是朝廷命令的忠實執行者，在他的要求下，文武官僚均不得捲入這場戰爭。他還在地圖上劃出了日俄的交戰範圍範圍，但人為劃分戰區純粹是一廂情願。雖然日俄兩國都承認遼河以東為交戰地，遼河以西為中立地，但戰爭打起之後，日俄兩國就什麼規矩都顧不上了。遼西的官軍和綠林也在中外混雜的矛盾面前發生了分化，有的投靠日本有的幫助俄國，成了被利用的戰爭工具。
日俄戰爭期間，日俄雙方都注意到了東北地方鬍匪集團的作用，雙方都施展小恩小惠，籠絡、收買匪幫。日俄雙方還派人對拉攏過來的鬍匪組織進行訓練和裝備，以成為正規軍的輔助力量，去打擊和破壞對方的軍事設施、補給線和戰略物資。
1904年8月，日本國駐華公使內田、使館武官青木宣純大佐，糾集分散在北京、天津、東北的日本國“大陸志士”47人，組成7個“特別行動組”，即敢死隊，其成員化裝成中國人、蒙古人，分別潛向東北和內蒙古地區，偵察俄國軍隊的後方，破壞各種設施。其中第一組由橫川省三、衝禎介等6人組成，1905年2月從北京率先出發，縱貫內蒙古樂行，前往吉江兩省，玄豚破俄國控制的嫩江鐵橋和東清鐵路西幹線。4月21日，第一組的六個日本人全被俄軍發現而殺戮，無一人能生還。
這次失敗給日本以沉重打擊，由日本人直接充當敢死隊的方案宣告失敗了。隨後他們改變了策略，不再由日本人去“敢死”，而改由日本人出面招撫東北和內蒙古一帶的中國鬍匪，配備步兵、騎兵、炮兵各兵種的現役軍官，直接指揮這些鬍匪隊伍。日本參謀本部命令日本駐滿洲軍總司令福島安正少將，直接組織和實施這一方案。
福島安正發覺現役日本軍人中大多不懂中國話，也不瞭解東北風土人情，就決定從國內和東北各地召集日本人，這些人包括日本浪人、商人、退役軍人等等。日本軍部將這些“大陸志士”，一部分派往日本駐滿洲軍、各級軍政機構和間諜組織中充當翻譯，另一部分人則與現役官佐合作，擔任指揮和訓練中國鬍匪的特殊任務。
