1944年，小野田寬郎被派往菲律賓西部的一個島上，以監視該地區的美軍。
1945年2月28日，美軍在盧邦島登陸，日軍大部分不是戰死便是投降。小野田與一等兵赤津勇一、伍長島田莊一、上等兵小冢金七三人一起逃入叢林，繼續頑抗。
1945年8月15日，日本宣佈無條件投降。美軍派遣日本降軍赴太平洋各島勸降，並空投大量的傳單。小野田認定這是美軍的計謀，絲毫不為所動。每天清晨，小野田都會帶著三名同胞爬上山崗，對著東昇的旭日敬禮。他們不斷地移動自己的位置，並偷竊當地居民的菜果、獵捕居民的家禽來充飢，喝河水、雨水解渴。他們甚至將保存曬乾的香蕉充當乾糧，以便維持一定的熱量。但是他們無法獵取太多的食物，因為槍聲會暴露他的戰鬥位置。大雨傾盆之時，他們用自己的身體護住步槍、地雷及炸藥，但他們得彼此警惕，儘量保持清醒，以免在睡覺時因體溫過低而死亡。在如此惡劣的環境之下，小野田依然沒有忘記長官交付他的任務─“游擊戰”。小野田以菲律賓警察和菲軍為對手。攻擊目標包括當地美軍雷達站，倉庫和美菲軍警據點。也襲擊居民以獲取物資。小野田利用得到的晶體管收音機自制短波接收器，獨自判斷國際形勢。觀察島嶼周邊附近美國軍艦和飛機的活動，收集情報以等待日軍反擊。
1949年，赤津受不了惡劣的環境與身心的煎熬脫隊，隔年6月向菲律賓警察“投降”，菲律賓與美軍因此掌握了潛伏中三人的身份。赤津在投降之後，也參與了勸降的行列；小野田等人依舊不為所動，每天早上依然爬上山頭，向旭日敬禮，等待援軍的到來。
1952年，菲律賓政府不斷地將小野田親人的家書以及日本當時的報紙散播在叢林之中，希望他們三人能夠早日投降。然而小野田始終認為這是美軍的計謀，因為他認為，如果日本真的投降，那他的長官谷口一定會告訴他“任務取消”。
1953年5月，三人夜襲菲律賓軍營，繳獲一支美製M1卡賓槍和一支步槍，但缺乏合適的子彈，導致這兩件武器成為空擺設。此次出擊還造成小野田寬郎右手無名指和島田莊一大腿受傷，此後他們便停止了這類得不償失的主動襲擊。
島田的傷口雖然後來複原，但在隔年5月7日，島田在一次與菲律賓警方的衝突中被打死。十天之後，新的傳單出現。搜索隊拿著麥克風在山裡到處大聲的叫嚷說:“小野田，小冢，戰爭已經結束了”。但是他們始終不為所動。他們感覺到，戰爭還在進行，日本還在奮戰，投降是莫大的恥辱，他們堅信中有一天日本的後援部隊將會攻佔整個島嶼，太陽旗將會隨風飄揚。甚至當小野田的親兄弟來到這個島嶼，拿著麥克風對他喊話時，他依然認為，這不過是美軍宣傳人員以像他兄弟的聲音來誘捕他的。游擊戰讓他養成一種事事懷疑的態度，更重要的是，他深信日本人是一個寧死不屈的民族，他不能讓尚在作戰的日本皇軍與國民失望。小野田同剩下的另一名列兵又在叢林中挖了一個從空中無法發現的地下掩體並搬了進去。
1958年，菲律賓軍方開始在盧邦島高地上修建雷達站，附近海灣經常可以看到美軍軍艦。小野田等2人認為，這肯定是日軍的反攻很順利，我們應該在敵後破壞敵人的部署，以迎接大反攻。
經過不斷的偵察後1959年1月，小野田和小冢金七悄悄的在日落後接近這座雷達基地，槍殺了哨兵。隨後菲律賓政府下達了對殘餘日軍格殺勿論的命令，但是幾次圍剿仍然以失敗而告終。
1965年，小野田和小冢金七發現美軍的活動越來越頻繁，還能看到轟炸機在向北方飛去。他們分析認為這一定是日軍已經開始反攻到越南了。猜的差不多，不過不是日軍在反攻越南，而是美軍與北越的越南戰爭爆發了。小野田決定行動他們在雷達基地附近的山上開槍狙擊了2名菲律賓空軍軍官，槍響人倒，他們起身後立刻逃入山林。
1972年10月，小野田在附近的村莊埋設了剩下的最後一枚地雷；因為生鏽，地雷沒有爆炸。1972年10月19日，2名日軍又跑出去放火燒稻草堆，小冢金七正在前邊，後面的小野田突然感到一陣緊張感，感到空氣中充滿了壓力。小野田大喊小冢，隨後槍聲四起，小冢的肩部被子彈命中，小野田雖然使用2支步槍輪流開火壓制對方，想掩護小冢逃跑，但是51歲的一等兵小冢還是死在了山坡大樹下。這一天，小冢成為第二次世界大戰日軍陣亡的最後一名士兵，也是軸心國陣亡的最後一名士兵。
日本投降27年後，日本士兵的死亡引起了日本政府的高度重視。日本馬上派人到緬甸、馬來西亞和菲律賓尋找藏在森林中的日軍士兵。並留下報紙、雜誌，還有小冢在日本的喪禮等消息給小野田。孤身一人的小野田仍決心繼續遊擊九年。他甚至計劃以死突擊雷達基地。
1974年2月20日，小野田在叢林中遇到專程前來尋找他的日籍自由探險家鈴木紀夫。鈴木告訴小野田，戰爭真的已經結束了；但小野田堅持必須有谷口義美少佐的命令才願意投降，同時要親自將20餘年來保存良好的軍刀交給天皇。鈴木回國後，幾經波折，找到了幸未戰歿的谷口少佐，原來谷口退伍後已經改名併成了書商。並請谷口書寫一份要求小野田投降的命令。
1974年3月9日，小野田接到了來到當地的谷口親自宣佈的投降命令；隔天，已經52歲的小野田身著已經破爛的日本軍服，翻過整個山頭，來到了警察局，放下肩上的九九式步槍，說：“我是陸軍少尉小野田寬郎，我奉上級的命令向你們投降。”3月10日，在菲律賓空軍雷達基地舉行了一場受降儀式，由菲律賓空軍司令接受小野田的投降。在這場受降儀式上，菲律賓軍民夾道歡迎，揮手致敬，軍隊還舉槍歡迎他。
小野田在29年的戰鬥當中，一共造成了130名以上的菲律賓人死傷，其中包括軍人、警察和平民，許多菲律賓人主張把小野田關進監獄，並繩之以法。但是，由於日本政府的斡旋，後來獲得了菲律賓獨裁者費迪南德·馬可仕的赦免，並允許已經52歲的小野田返回日本。
1974年3月12日，他與鈴木紀夫和谷口義美一起回到日本。
