日軍在海上與俄軍交戰的同時，也在陸地上發起了攻勢。1904年3月21日，日本陸軍從朝鮮南部出發，在沒有遇到任何抵抗的情況下就抵達了鴨綠江邊，與俄軍對峙。
4月30日夜，日軍在夜色的掩護下渡河偷襲俄軍，憑藉著優勢兵力兩面包圍了俄軍，迫使其撤到遼陽。而俄軍東西伯利亞第11步兵團則遇到了五倍於己的日軍的圍攻，全軍覆沒。
沙俄遠東陸軍總司令庫羅帕德金認為，雖然俄陸軍在數量上較日軍佔優，但是卻因駐防東北各地而兵力分散，若一城一地爭奪則必敗無疑。不如放棄一些不重要的城鎮，集結主力部隊保護旅順，小股部隊作為游擊隊騷擾日軍補給線。待俄軍西伯利亞軍團援助，直接在旅順"中心開花"消滅日軍主力。這一提議得到了沙皇的首肯，於是，俄軍主力收縮至旅順，與日軍展開了旅順攻防戰。
俄軍集結主力在旅順與日軍決戰
5月1日，日第二軍在遼東半島登陸。6月，在俄軍的節節抵抗之下，日軍各路人馬終於集結在旅順城下。日軍大本營於6月20日建立"滿洲軍總司令部"，指揮一切在東北地區的日本軍隊。
日本第三軍作為主力部隊率先進攻，而第一、第二、第四三個軍則在遼陽一帶阻擊支援旅順的俄軍並取得了成功，使得日軍短期內沒有了後顧之憂。第三軍軍長乃木希典出身武士世家，在甲午戰爭時就指揮日軍佔領了旅順。這次戰役，乃木希典再次祭出了自己在甲午戰爭中用過的"戰術"：用武士道精神激勵士兵對敵人防線發動衝鋒。
日第三軍軍長乃木希典照片
這種原始的戰術對付腐敗的清軍自然是有效的，但是卻對於俄軍的效果就很不理想了。事實上，俄國人早就料到日本會覬覦旅順，因此將旅順要塞修築的固若金湯：要塞外遍佈鐵絲網、陷阱和路障、地雷，同時還設有許多燃料管道，在可以製造火牆阻止敵人前進；要塞內則裝備了646門傳統火炮，234門可發射燃燒彈的速射炮；326門可以發射在空中引爆製造無數破片的霰彈炮以及620挺重機槍、超過一千挺輕機槍。
在如此嚴密的防守下，任何莽撞的衝鋒都無異於自殺。在第一天的戰鬥中，日軍因為觸雷傷亡四百多人，俄軍的各類陷阱也造成了三百多人的傷亡。日軍連旅順要塞還沒摸到就損失了八百多人。乃木希典大怒，第二天親自督戰，命令士兵發動衝鋒。雖然俄軍的地雷和陷阱已經被日軍排除了一些，但是在戰鬥中，日軍士兵還是由於這些陷阱造成了數百人傷亡。
日軍向俄軍發動自殺式衝鋒
好不容易通過了陷阱組成了第一道防線，日軍又被俄軍的鐵絲網等路障攔住了去路。為了排除路障，日軍工兵不得不上前工作，這些工兵便成了俄軍的靶子，遭到機槍和步槍的重點打擊。經過一天的苦戰，第三軍以工兵幾乎消耗殆盡的代價終於清理出了一條可供日軍步兵衝鋒的道路，然而這條道路過於狹窄，一挺機槍便能輕易將其封鎖，日軍的兩次衝鋒都被俄軍輕鬆打敗，甚至在日軍第二次衝鋒時，衝鋒在前的日軍士兵為了逃命而與後面的同袍發生了踩踏事故的滑稽事件。
反應日俄戰爭的日本畫作
旅順攻防戰開始短短兩天，日軍就損失了四千多人，這讓日本上下都大為震驚，因為就算是甲午戰爭日軍傷亡也不過五千多人。日本部分當權者開始對與俄作戰的正確性產生了動搖。
但是此時日本已騎虎難下，除了勝利，他們將別無他法！
