徐樹錚到武備學堂成為段祺瑞的師爺之後，並不像傳統師爺那般咬文爵字、酸氣沖天，反而對自己嚴格要求。段祺瑞很注意練兵，而且深諳以身作則的道理，每天都親自帶隊上操。作為段祺瑞的秘書，徐樹錚本是不用出操的，但他卻每天都跟官兵們一起出操，這使得段祺瑞對他的大加讚賞，連前來看操的袁世凱也認為他是個與眾不同的人。
從此以後，段祺瑞在武備學堂招生、命題、考試、閱卷等很多事務中都是徐樹錚替他出謀劃策，鞍前馬後。同時，段祺瑞還延請徐樹錚作為其家庭教師，教導其子段宏業讀書識字，這樣他們的關係又更進一層了。
北洋六鎮成立，段祺瑞歷任第三鎮、第四鎮和第六鎮統制，徐樹錚就一直跟著段祺瑞當師爺。本來段祺瑞想提拔徐樹錚做官，但他表示自己不願做官，此時正值清朝政府向日本大量派遣留學生學習的時刻，徐樹錚便向段祺瑞表達想去日本留學，學習軍事，增長見識的意願。
1905年，在段祺瑞的幫助下，徐樹錚以江蘇籍學生的身份被派遣到日本流程，從此開始他留學東洋的生涯。他先入振武學校學習三年，畢業之後，進入日本士官學校，編入清國陸軍留學生隊第七期，習步兵科。徐樹錚剛到日本的時候，正值日本國力蒸蒸日上，日本蕞爾小邦，一戰而勝中國，二戰而勝俄國，儼然已經是東亞第一強國， 這給徐樹錚極大的刺激，這促使他在日留學期間，廣求新知，奮發上進，各項功課都學得很好，還在業餘時間主動學習英語。
清國學生在日本難免會受到一些歧視，這更加刺激了徐樹錚爭強好勝的個性。某次他和同學一起到居酒屋喝酒，這裡有個藝伎酒量很好，徐樹錚知道後，說：“酒是中國人發明的，誰也喝不過中國人。”於是他就和這個藝伎比試酒量，而且對方喝一杯，他喝兩杯、三杯，最後喝的酩酊大醉。甚至第二天還去找那個藝伎喝酒，痛飲一場才罷休。
當時孫中山、黃興、宋教仁等仁人志士在日本開展革命活動，他們於1905年組織中國同盟會，日本士官學校的很多中國學生如孫傳芳、趙恆惕、閻錫山等都加入了同盟會，但徐樹錚雖然對清廷的腐敗無能相當不滿，卻並沒有參加革命活動。主要原因即在於徐樹錚志在整軍，其政治思想屬於社會改良的範疇，與孫中山等人激進的革命思想“道不同不相為謀”，而與袁世凱等官僚立憲派的社會改良主張相同。
1910年，徐樹錚以優異的成績結束了留學生涯，欣然回國。在回國途中，見到大海波濤洶湧，詩興大發，寫下了《謝龔致初贈倭刀》：
橫海歸來壯，風雲變態多。
寶刀堪贈我，世事竟如何？
擊楫會宵舞，逢人莫浩歌。
為君勤拂拭，明日斫蛟鼉。
徐樹錚回國後，暗暗下決心，要學祖逖擊楫中流，聞雞起舞，跟隨段祺瑞斫蛟斬龍，逐鹿中原，幹一番轟轟烈烈的大事業。
