第74軍是1937年9月1日在浙江組建，由王耀武第51師（轄周志道151旅、李天霞153旅）和俞濟時第58師（轄吳繼光174旅、邱維達172旅）合編而成，俞濟時任軍長，馮聖法繼任第58師師長。全軍共8個團，2 .1萬人。其中第58師炮兵營有6門105毫米榴彈炮，在當時可是相當具有威力的重炮了，曾在淞滬會戰中大顯神威。
俞濟時是黃埔1期畢業，浙江奉化人，蔣介石的外甥，是標準的嫡系，歷任蔣介石侍衛大隊排長、連長，侍衛大隊擴編為警衛團後任營長、團長，後任第6師31團團長、南京國民政府警衛司令兼警衛1旅旅長，警衛1旅擴編為第1師後任師長，後改任第58師師長，而74軍的骨幹就是58師。
74軍成軍不久就參加了淞滬會戰，51師在羅店，58師在蘊藻濱，都是戰線的關鍵之所，浴血奮戰，尤其是51師無論在陣地防禦還是在撤退中，均表現非常出色，當時有名的《申報》和《大公報》都曾報道過51師的英勇作戰。
74軍從淞滬戰場撤出後，還來不及補充休整就投入南京保衛戰，在湖熟鎮、湯山鎮、熟化鎮等地與日軍展開激戰，多次擊退日軍進攻，南京淪陷後51師奉命突圍，全師撤至浦口僅有4000人。
74軍經過補充先後參加徐州、蘭封會戰，在蘭封會戰中74軍重創日軍第2師團。
1938年7月德安戰役（又稱萬家嶺戰役）爆發，日軍苦戰兩個月進展甚緩，為了儘快突破國軍德安防線，日軍第11軍軍長岡村寧次中將命令第106師團全力突破五臺嶺一線，然後向德安西南迂迴穿插，協同正面攻擊部隊圍殲德安一線約20個師的國軍。
9月25日，第106師團突破五臺嶺，迅速向國軍防線縱深推進。10月1日，106師團主力已進至萬家嶺一帶地區，但在白雲山遭到了國軍第4軍的頑強阻擊。第九戰區司令薛嶽聞訊後立即果斷決定調集重兵圍殲孤軍深入的第106師團！這一作戰決心得到了蔣介石的支持。10月2日，第九戰區調集12個師合擊萬家嶺地區之敵，國軍各部從各方向發起向心攻擊。日軍第106師團長淞浦淳六郎中將見形勢危急，而正面進攻部隊又無進展，便迅速放棄原定計劃全力突圍，突破口便選在了74軍58師防區，58師以極其頑強的防禦頂住了日軍113聯隊在空軍支援下的多次猛攻，但是58師也付出巨大代價，全師經過兩天激戰，僅存500人！眼看陣地難保，58師師長馮聖法連連向軍長俞濟時求援，此時俞濟時手裡也沒有預備隊，他只留下了一個班警衛軍部，將軍警衛營投入戰鬥，這才確保了陣地，粉碎了日軍突圍的企圖。
10月7日，國軍調整兵力，發起全線總攻。74軍作為主攻部隊奉命攻擊日軍在萬家嶺地區的核心陣地張古山，第51師多次猛攻均未得手，後305團團長張靈甫獻計從山後偷襲，並親率突擊隊從山後偏僻小道襲佔張古山。74軍攻佔張古山，為突破日軍106師團防線立下頭功。10月9日，薛嶽令各部組織敢死隊作最後決死攻擊，經過激戰國軍攻佔萬家嶺、雷鳴鼓兩處要地，當晚國軍第4軍的突擊部隊一度曾進至106師團指揮部僅百米處，淞浦組織師團指揮部所有人員準備迎戰，連自己都拿起了槍。由於第4軍沒有確切情報，又是夜間，才沒有發現日軍，使淞浦得以僥倖逃脫。此役國軍一舉收復九江以南失地，日軍第106師團幾乎被全殲，死傷逾萬，連師團長淞浦中將都險些被俘，戰果之輝煌足以與平型關和臺兒莊媲美。萬家嶺之戰既無平型關八路軍奇襲之利，又無崑崙關國軍火力之優，全靠將士浴血苦戰，戰役中74軍守得住攻得上，居功至偉。戰役開始前，蔣介石曾兩次電令將74軍調至後方休整，都被薛嶽拒絕，而74軍的表現確實沒讓薛嶽失望。
1939年6月俞濟時升任第10集團軍副司令兼86軍軍長，51師師長王耀武升任軍長，74軍下轄51師（李天霞）、57師（餘程萬）和58師（廖齡奇）。
1941年3月，74軍參加上高會戰，上高位於江西錦江上游，俯瞰贛東平原。日軍佔領上高，既可相機拊長沙之背，又可得到進攻贛南的前進基地。日軍採取分進合擊戰術，兵分三路，企圖合圍國軍主力於高安、上高地區。但南北兩路進攻均被擊退，中路日軍孤軍深入，又遭到74軍堅強抵抗，3月22日日軍集中萬餘兵力在數十架飛機掩護下猛攻74軍雲頭山、白茅山陣地，74軍與日軍反覆爭奪，先後7次與日軍白刃肉搏，為友軍贏得了集結的寶貴時間。因此中路日軍不得不於3月24日黃昏在北路第215聯隊掩護下開始突圍，但25日夜又被國軍將突圍與增援之敵再次包圍，終將其大部殲滅。在全線出擊中74軍又作為先鋒，乘勝追擊，收復官橋，擊斃日軍日軍第34師團長巖永少將。整個上高會戰，日軍第33師團遭到重創，第34師團及獨立第20混成旅團傷亡更是高達70%以上，共斃傷日軍1 .5萬，被何應欽譽為 “開戰以來最精彩之作戰”。
此役74軍被第19集團軍司令羅卓英評價為“戰鬥力量堅強”！ 74軍在戰役中“拼死力拒，雖血肉橫飛、傷亡慘重，仍不稍退，是日一日間敵我傷亡均在四千以上”，戰功顯赫，榮獲國民政府第一號武功狀和最高榮譽“飛虎旗”，被譽為抗日鐵軍。74軍軍長王耀武和第153旅旅長張靈甫旅表現優異，受到表彰。
上高會戰之後，74軍作為首批五個軍之一換裝蘇式裝備，得到115毫米榴彈炮4門，76毫米野炮8門，37毫米反坦克炮4門，7 .62毫米M1910水冷式馬克西姆（即“俄國版的馬克辛”）重機槍25挺，7 .62毫米M1910馬克西姆．託加萊和M1928德克恰廖夫（簡稱為DP型，即常見的轉盤機槍）輕機槍70挺。
1941年9月，日軍發動第二次長沙會戰，目標之一就是尋殲國軍主力74軍。戰役開始後74軍奉命開赴沙市街增援，結果被日軍情報機關偵悉，日軍立即提前發動攻擊，集中兩個師團夾擊74軍，74軍猝不及防與日軍激戰兩日，57、58師傷亡過半，遭到了巨大損失。儘管此戰74軍失利，但在與日軍遭遇之初，74軍在華春山一線仍頗有斬獲，並以凌厲攻勢一度迫使日軍第3師團後退，也顯示了中國王牌軍的威風。
1943年11月常德會戰中，74軍57師8000人堅守常德城16天，頑強抗擊了日軍陸、空、坦的協同攻擊，在日軍猛烈炮火甚至釋放毒氣情況下仍死戰不退，日軍不得不圍三闕一，放74軍一條生路，此時全師不足600人只有師長餘程萬率180人突圍，其餘官兵自願與常德共存亡，與突入城內的日軍逐屋爭奪，全部壯烈殉國。6天后餘程萬就隨反擊部隊又殺回常德，收復常德。此役正逢美、中、英開羅首腦會議，羅斯福總統聽取了蔣介石的戰況介紹，特意將餘師長的名字記在備忘錄上。
1944年1月軍長王耀武升任24集團軍司令，施中城接任軍長。下轄51師（周志道）、57師（李琰）、58師（蔡仁杰）。
1945年5月，在雪峰山戰役中，74軍再次顯示出抗日鐵軍的雄風，給予日軍以重創，獲得兩面“飛虎旗”。
八年抗戰中，74軍幾乎參加了所有正面戰場上的重大戰役，尤其是在德安、上高、常德三次戰役中表現最為突出，以其英勇頑強的戰鬥意志，被譽為抗日鐵軍，連美軍顧問團曾有過“中國只有74軍能打”的讚譽。
1945年8月，日本投降，74軍空運南京受降，並擔任南京守備，因此被稱為“御林軍”。
1946年3月，74軍改編為整編74師，全師3萬餘人，全副美械裝備，師長張靈甫兼任南京警備司令，下轄整編51旅（陳傳鈞）、57旅（陳噓雲）、58旅（盧醒）。駐紮在南京孝陵衛，拱衛首都，被譽為天下第一師。張靈甫，1903年出生，原名鍾麟，字靈甫，陝西西安人，1923年考入北京大學，後投筆從戎入胡景翼國民二軍駐豫軍官訓練團。1925年南下廣州考入黃埔軍校四期，1926年升入黃埔四期步科，畢業後在嫡系第1師中歷任排長、連長、營長、團長，1936年因槍殺妻子入獄，1937年抗戰爆發後被釋放，官復原職，戴罪立功，任74軍51師153旅305團團長，在德安戰役中因獻計奇襲張古山而一舉成名，後任153旅旅長、58師副師長、師長、74軍副軍長。並經蔣介石特批，成為陸軍大學將官甲級班裡唯一的少將。張靈甫在俞濟時、王耀武的大力舉薦下，才坐上這個被譽為五大主力之首的師長寶座，因此得罪了競爭對手李天霞，對此李一直耿耿於懷，日後的孟良崮李見死不救，就是原因之一。
全師裝備計有12門105毫米榴彈炮（卡車牽引）、36門75毫米山炮（吉普車牽引）、108門105毫米迫擊炮（騾馬牽引）、108門81毫米迫擊炮（騾馬牽引）、108門37毫米戰防炮（吉普車牽引）、486門60毫米迫擊炮、255具火焰噴射器、324具M1“巴祖卡”火箭筒、324挺7 .62毫米勃郎寧M1917水冷式重機槍、1080挺7.62毫米1918A2輕機槍、2400支9毫米美製M1湯姆森衝鋒槍和加拿大斯太令卡賓槍、4800支7 .62毫米M1903A1春田步槍，軍官配9毫米勃郎寧M1911A1手槍。無線電報話機配備到連，共有機動車約300輛、騾馬1000匹。
1946年7月，國軍集中58個旅的重兵進攻華東解放區，其中主力31個旅進攻蘇皖解放區，另27個旅進攻魯南，牽制山東解放軍。而整編74師作為主力中的主力負責主攻淮陰，淮陰是蘇皖解放區首府，具有非常重要的軍事、經濟和政治意義，即使在解放軍採取積極防禦，不計較一城一地得失的戰略下，也是屬於不到萬不得以絕不輕言放棄的要地。當時華東解放軍主力有山東野戰軍（簡稱山野，陳毅指揮，共約7萬餘人）和華中野戰軍（簡稱華野，粟裕指揮，共約11萬餘人）。
7月淮南戰局惡化，解放軍除留第6旅16團和地方部隊外，主力撤出淮南。9月，國軍兵鋒直指淮陰，第7軍進攻泗陽，掩護74師側翼；74師配屬工兵第15團沿運河主攻淮陰；整編28師之192旅為預備隊，在74師後跟進。此時華野主力正在蘇中作戰（即蘇中七戰七捷），山野主力則在沭陽以南。在國軍發起攻勢後，解放軍以華野9縱在運河與洪澤湖之間設置三道防線，作為防禦正面。
9月12日，經三天激戰國軍第7軍突破9縱第一道防線。9月13日，第7軍和74師同時展開攻擊，於當日下午突破第二道防線，陳毅山野主力無法及時南下，只得急令2縱向淮陰開進，但沿途道路橋樑均遭破壞，無法及時趕到。陳毅只好急電粟裕：“……總之此次淮北作戰，由於主觀指導錯誤，貽誤全局；五內俱焚，力圖挽救，當尊重兄等建議。”粟裕見形勢危急，急調第5、第13旅星夜北上馳援，粟裕親率主力第1、第6師也隨後北上增援。但是從海安到淮陰，多是水網地帶，又逢大雨，道路泥濘，部隊只能走水路，但一時間又沒有足夠的船隻，一次只能渡1個旅，加上國軍飛機的封鎖，只能在夜間行動。華中主力趕到淮陰最快也得到20日。而事實上，19日勝負就已經定了。
9月14日，譚震林和張震在碼頭南岸開設前線指揮部，統一指揮淮陰地區作戰。
9月15日，雙方在淮陰外圍楊莊、馬頭、小橋一線激戰，9縱及第5、第13旅拼死抗擊，尤其是從高郵兼程趕來的第13旅（即皮定鈞旅），是參戰各部隊中戰鬥力最強的部隊，對突破運河的74師連續實施了9次反衝鋒，雙方都付出了巨大代價。當晚74師攻佔楊莊和碼頭，逼近淮陰。
16日，為確保淮陰，譚震林下令扒開運河大堤，放水遲滯74師的攻擊。
17日，戰況更為激烈，74師在炮火和飛機助戰下，連續組織5次猛攻，解放軍集中所有兵力火力全力抗擊，但第一道防線仍被突破。
18日張靈甫親臨一線督戰，並於午夜發起猛攻(敢於夜戰的國軍可沒有幾個)，74師派出2個連從9縱與5旅的結合部成功突破，根據俘虜供述的口令詐開淮陰南門，進城後立即搶佔有利地形建立陣地，74師主力隨即從正面猛攻。解放軍5旅在敵前後夾擊下，被迫放棄陣地，解放軍組織皮旅和9縱預備隊實施反擊，也未奏效。華野主力剛到淮陰城北，立足未穩無法頂住74師的猛攻，被迫於19日撤出淮陰。74師繼續南進，又於22日攻佔淮安，至此，國軍基本控制兩淮，張靈甫獲三等雲麾勳章。兩淮和華中解放區基本喪失，華野主力只得北撤山東，華東局勢日趨嚴重，解放軍在華東只剩下了山東解放區，對於兵力補充、後勤補給和部隊迴旋都造成了很大困難。特別是隨著兩淮的喪失，華中解放區最主要的經濟來源運河稅務失去了，華中主要的工商區也失去了，對南線作戰負面影響很大。
解放軍9縱根據此次戰鬥總結了整編74師的戰術特點：“多采取正面佯攻，側後迂迴，或超越攻擊。該敵系蔣軍五大主力之一，部隊驕橫，攻擊精神較頑強。善於集中使用兵力，先以集中炮火打我陣地一點，掩護步兵攻擊，且善於使用小部隊，以錐形滲入我側背，錯亂我部署，但不善於近戰。”
解放軍參戰部隊對於74師的評價是：“官兵素質在蔣軍中算是比較好的，老兵佔很多，軍官、士兵甚至馬伕都經過嚴格標準訓練，戰術指揮及技術動作均較正規熟練。裝備精良，補給充足，兩淮戰後，該敵傷亡慘重，敢於大膽縮編建制，也不顧兵員缺額。其官兵對蔣甚為信仰，且驕橫自大。”
國軍攻佔兩淮後，稍加休整，於10月開始進攻漣水、益林地區。解放軍在漣水外圍集中了第1、6師、第9、10、11縱隊共23個團的兵力，另以第5旅守漣水城。10月4日粟裕在漣水以北15裡鹽河北樊卜莊的前線指揮部裡親自召見了5旅15團團長李士懷，由15團擔負城防。之所以選擇15團，是因為在前2、3個月裡，15團和74師在六合、天長、馬壩、淮陰先後多次交鋒，對74師的戰術有所瞭解。
10月15日，15團接管城防，以第1營擔任城南守備，這裡是廢黃河故道，視野開闊，最關鍵的南門渡口由第1營第2連第3排配屬營直屬60炮班（3門60炮）防禦；第2營部署在位於鹽河和廢黃河之間的帶河鎮，構築了3道野戰工事，扼守通向漣水城的大路；第3營部署在城西關，其中第9連為團預備隊。此外漣水、漣東兩縣成立了後勤司令部，由縣長陳亞昌任司令，縣委書記胡啟奎任政委，組織民工2萬多人支前。
10月19日，74師兵分三路，以寬正面向漣水攻擊前進，東路57旅，由淮安經席橋、順河集向茭菱鎮前進；中路51旅由淮陰東馬廠經欽工向漣水前進；西路58旅由王營沿鹽河河堤攻擊帶河鎮。
20日下午3點左右，74師先頭部隊與15團在湯莊遭遇，74師51旅前衛連遭到伏擊，51旅在第二天中午才推進到漣水城南的廢黃河南岸。
10月22日，74師集中全師炮火猛轟南門渡口，然後連續3次組織強渡廢黃河，均被擊退。74師毫不氣餒，繼續發動了第四次進攻，解放軍南門渡口守軍傷亡殆盡，終於被74師突破。解放軍1營預備隊和從茭菱趕來增援的5旅第13團迅速趕到，苦戰之後封閉了缺口，74師也因傷亡慘重後繼乏力而被迫退至廢黃河邊的沙灘上，重新收攏集結部隊，在沙灘上建立了陣地，並冒著解放軍的炮火搭建起了浮橋。同時，解放軍也在廢黃河的第二道大堤和城邊構築了新的工事。
74師在猛攻南門渡口時，還對帶河鎮和西關兩地發動攻擊，帶河的進攻被15團2營擊退，西關戰況也相當激烈，3營傷亡很大一度形勢危急，投入團預備隊後才勉強守住陣地。同時在東路的74師57旅一部企圖在茭菱鎮附近強渡廢黃河，也被解放軍擊退。一天的戰鬥下來，儘管解放軍守住了陣地，但城防主力15團幾乎死傷殆盡，才只經過一天的戰鬥一個主力團就基本喪失了戰鬥力，這在以前還從未曾有過。當晚15團因為實力大減被迫縮小防禦正面，南門渡口至雜姓莊的陣地由13團和獨立第5團接替。入夜後13團在城內西南角的妙通塔上建立了重機槍陣地，以火力控制了全城制高點。
10月23日，74師在5架B-24解放者轟炸機和7架P-51野馬戰鬥機的空中掩護下，強渡廢黃河，上午8點，解放軍在74師強大壓力下被迫放棄第一道大堤，退守第二道大堤，74師後續部隊開始渡河，這時妙通塔上解放軍的重機槍開火，用火力封鎖了74師後續部隊，但是解放軍已無力組織反擊，奪回橋頭陣地，雙方就這樣僵持了一個白天。
入夜後，解放軍5旅14團在旅長成鈞帶領下趕到漣水，立即發起反擊，經過一夜激戰，14團重新奪回了第一道大堤，將74師已過河的部隊壓縮到河邊沙灘上。然後14團接替了獨立第5團的陣地，這時沿廢黃河從東向西的守備部隊是：13團、14團、15團。
24日夜，在14團與敵人激戰的同時，解放軍神速插入74師背後，收復了順河集和帶河鎮，切斷了敵人的後路。
25日早晨，74師經過一天休整，直叩漣水城下，城關上下激戰竟日，74師51旅主攻重點是14團陣地，戰況殊為激烈，多次發生白刃戰。14團1營400多人只剩下50多人，只好縮編為一個連，團裡的勤雜人員也全部組織起來投入戰鬥。
下午，74師57旅170團投入戰鬥，該團以士官和老兵組成“敢死隊”配備自動武器，經炮火準備後向南門陣地發起總攻，並在解放軍14團3營陣地上取得突破，然後一鼓作氣，接連衝過第二道、第三道大堤，其中有一個連甚至突入漣水城內。解放軍5旅組織了所有部隊堅守漣水城垣，從突破口兩翼組織反擊。就在此危急關頭，解放軍6師、10縱增援部隊趕到，這兩支生力軍以一部加強防禦，一部實施反擊，才將74師擊退，74師進入漣水城內的一個連也因被隔斷了與主力的聯繫於當夜被殲。
26日，整編28師192旅和74師並肩發起攻擊，雙方在大堤附近展開了激烈的爭奪，解放軍主力第1、6師、第9縱隊和第13旅相繼投入戰鬥，74師經多日苦戰，兵鋒已疲，主力被迫撤回廢黃河南岸。入夜，解放軍兵分三路發起反擊，2個小時便全殲黃河北岸74師57旅2個營。同時解放軍一部在淮陰東20裡處的老垛、新渡口一帶渡過廢黃河，並與收復順河集的解放軍一起擊退在欽工、茭菱之間的敵人，殲滅74師58旅172團一個連和28師192旅一部。
27日早晨，解放軍徹底肅清了廢黃河以北的全部國軍。當天解放軍全線出擊，第5旅配合6師從正面反擊74軍；皮旅、9縱繼續攻擊帶河鎮附近國軍；1師、10縱從漣水東南越過廢黃河，向欽工出擊，配合正面作戰。
30日晚，經過一夜激戰，解放軍收復了茭菱鎮。
31日在茭菱鎮西南，解放軍殲滅28師192旅和74師57旅一部。
11月1日，整編28師192旅殘部向淮安潰退，張靈甫預見到有被解放軍合圍的危險，於是收縮各部連夜退往淮陰東的馬廠，至此第一次漣水保衛戰結束。此戰74師元氣大傷，其不可戰勝的神話從此被打破。根據新華社華中前線11月6日電訊：從10月19日至11月1日，共斃傷俘敵軍9000餘人，解放軍自身傷亡也在6000以上，10縱司令謝祥軍也在戰鬥中陣亡，這是華東解放軍在解放戰爭中陣亡的職務最高的將領。
12月，國軍捲土重來，投入整編74師和整編第28師第192旅以及新7軍一部共5個旅，由74師師長張靈甫統一指揮。根據中央軍委命令，華東解放軍以27個團圍攻魯南臨沂、郯城，另以24個團阻擊華中北上之敵。擔負漣水防禦的是華野6師和淮南獨立6旅。此次張靈甫吸取了教訓，改變戰術，12月3日首先以74師57旅和192旅向解放軍6師17旅陣地作正面攻擊，解放軍沿漣水以南層層設防，4日佔領解放軍一線陣地。5日解放軍6師分路出擊，企圖奪回失守的一線陣地，但均告失利。6日國軍繼續推進，解放軍退守順河集一帶節節阻擊。雙方激戰十日，解放軍的注意力全部被吸引到漣水以南。
12月14日，張靈甫集中74師51旅、58旅和第7軍一部共3個旅由王營、悅來直撲帶河鎮、大關，從西面攻擊漣水，這支奇兵一舉奏效，當天便突破了淮南獨立6旅在帶河的陣地，傍晚就已打到廢黃河大堤。解放軍這才察覺74師的主攻方向，從正面抽調6師16旅急返漣水，配合淮南獨立6旅阻擊敵人。
16日拂曉，74師集中全部炮火轟擊漣水城，炮擊一停，即以營、團發起集團衝擊，而且一波連一波，前赴後繼，經白刃肉搏於上午8時突破大堤進逼城垣，中午時分便攻入城裡。接到漣水以西告急華野第6師奉命兼程回師增援，結果急行軍35千米，在漣水城外2 .5千米處與已攻取漣水的74師接戰，6師幾次反擊均被74師擊退，6師傷亡超過5000人，被迫撤出戰鬥。據江渭清回憶，當時陳毅口頭通知他代行司令員職務，將6師師長王必成撤職查辦，押來野司。粟裕認為戰役失利原因很多，不能只怪王必成一人，但作為主要前線指揮員，應該好好檢查，建議留職檢查。王必成只說了一句：“給什麼樣的處分，我都無怨言，只是希望日後打74師，絕對不要忘了6師！”粟裕立即將參謀長陳士渠召來，當面命令：以後凡我華東部隊組織殲滅74師的戰役，一定讓6師參加，一定讓王必成同志參加。並特別囑咐將此命令記錄在案，存檔待查。——半年後，殲滅74師的孟良崮戰役中，正是王必成指揮的6縱（原6師改編）從魯南飛兵急進，奪佔垛莊，切斷74師退路。
二戰漣水，74師終以出奇制勝攻佔漣水，並給予粟裕華野三大主力之一的第6師重創，電影《紅日》裡開頭講的就是二戰漣水。
由於兩淮、漣水接連失利，蘇皖解放區絕大部分地區被國軍佔領，華中野戰軍主力北撤山東，華東地區的主要戰場已轉到山東，在這種形勢下，1947年1月山野、華野兩野戰軍進行了整編，合併為華東野戰軍，共約27 .5萬人。並於1月下旬在臨沂附近召開師以上幹部會議，史稱魯南會議，以統一思想。這樣，解放區面積縮小，而部隊和機關相對集中，加劇瞭解放區人民的負擔，給以後的作戰帶來了新的困難。
1947年2月，國軍撤消徐州、鄭州綏靖公署，組建徐州司令部，由陸軍總司令顧祝同親自指揮，統一指揮對山東解放區的重點進攻。此時國軍在山東地區的總兵力為24個整編師（軍），60個旅（師），約45萬人，佔進攻各解放區總兵力的27%，重點進攻兵力的64%。以整編74師、第5軍和整編第11師這三大王牌部隊為骨幹，組建三個機動兵團，擔負主要突擊作戰，另以第2、第3綏靖區共7個整編師（軍）擔負守備和配合，採取“密集靠攏、加強聯繫、穩紮穩打、逐步推進”的戰術，計劃第一步打通津浦路徐州至濟南段，佔領魯南；第二步主力繼續推進至泰安、萊蕪、新泰、沂水一線，迫使華東解放軍與之決戰或壓迫解放軍北渡黃河，佔領整個山東。
3月下旬，國軍開始全面攻擊，至4月上旬，基本實現第一步計劃，打通津浦路徐州至濟南段，佔領魯南，隨後繼續向魯中進擊。其間解放軍進行了高度機動迴旋，以求調動敵人捕捉戰機，並五次求殲來犯之敵的決心，除4月24日至26日在泰安殲滅整編72師主力（川軍）外，均未實現。
5月3日，華東野戰軍決定以第6和第1縱隊穿插至魯南，第7縱隊南下蘇北，以調動分散敵人，創造戰機。5月上旬中央軍委指示：要誘敵深入，要有極大耐心，要掌握最大兵力在手，不要性急，不要分兵。據此，華東野戰軍決定原定插入敵後的第1、第7縱隊停止南下，已經南下魯南的第6縱隊隱蔽潛伏待機，野戰軍主力撤至萊蕪、新泰、蒙陰以東待機。
解放軍主力東撤後，國軍迅速跟進，於5月10日佔領萊蕪、蒙陰、河陽，顧祝同判斷解放軍主力正節節後退，國軍主力應跟蹤追剿，第1兵團向坦埠、沂水推進，第2兵團向博山、張店推進，第3兵團則集結於新泰、蒙陰，在第1、2兵團得手後發展進攻，實現第二步計劃。
國軍第1兵團司令湯恩伯被解放軍行動所迷惑，一改穩紮穩打的戰術，不待與友鄰兵團協同，立即命令整編74師、25師為主攻，從垛莊、桃墟北進，限令12日攻佔坦埠；第7軍和整編48師各一部向沂水行動，主力集結於湯頭、葛溝，策應主攻方向；整編83師一部向馬牧池攻擊，掩護主攻部隊右翼，主力為兵團預備隊；整編65師擔負蒙陰地區防禦。
5月10日夜，解放軍發現第7軍和整編48師有進攻沂水跡象，考慮該部位於第1兵團側翼，比較孤立，決心集中主力實施圍殲。
5月11日，國軍各部按計劃發起攻擊，74師於當日攻佔重山、艾山，25師攻佔黃鬥頂山；83師進至孤山以南；第7軍向沂水方向推進。當晚解放軍掌握了第1兵團行動計劃，陳毅、粟裕認為殲滅74師更為有利，因為其一該師正位於解放軍主力正面，不需要作較大的兵力調整即可形成5：1的兵力優勢；其二74師雖為全美械裝備，但受山區地形限制，重裝備難以發揮作用；其三該部為嫡系精銳，素來驕橫，與其他國軍（如83師）矛盾很深，在解放軍頑強阻擊下不會全力援救，而且目前該師態勢突出孤立，兩翼空隙較大，易於被分割；其四正因為該部是國軍精銳主力，戰鬥力強，一旦被殲將對國軍造成實力和精神上的雙重打擊。退一步，即便不能將其全殲，給予重創也將大大挫傷國軍銳氣，振奮解放軍士氣。因此決定按照原計劃正向東機動準備圍殲第7軍各部立即重返原地集結待命，12日下達圍殲74師部署命令：第1、4、6、8、9共5個縱隊擔負圍攻，其中第1、8縱隊從74師兩翼穿插迂迴，第6縱隊從魯南兼程北上，斷其退路，這3個縱隊負責割裂74師與友鄰聯繫，第4、9縱隊從正面出擊；第3、7、10縱隊阻擊國軍第7軍、第5軍、整編48師和11師，第2縱隊保障第8縱隊側翼安全，並策應第7縱隊；特種兵縱隊集結於沂水、下位之間；魯南軍區部隊截斷臨沂至青駝寺公路，並以一部襲擾臨沂，牽制國軍。定於13日黃昏發起攻擊。
5月12日，國軍第1兵團繼續推進，74師攻佔黃鹿寨、三角山、楊家寨，25師佔領舊寨，83師攻佔野豬旺。
早在11日國軍第1兵團司令湯恩伯命令整編83師派出1個旅（2個團）部隊進至沂水西岸，掩護74師側翼。但83師師長李天霞與張靈甫矛盾很深，他對此命令陰奉陽違，只派第19旅57團出動1個連攜帶報話機冒充旅部（有不少人把這一行動誤以為是83師後來救援74師，特此更正），而且57團曾在蘇中戰役中被殲，是由新兵和收編的偽軍剛剛重建，裝備差士氣低，戰鬥力最弱，李天霞這樣做就是為了保存其主力。結果導致74師側翼遭到解放軍攻擊，57旅一度與師主力被隔開。12日李天霞一面命令57團佔領現陣地，並聽從74師指揮，確保74師側翼安全，一面又暗示57團團長羅文浪一旦發生戰鬥可以後撤。當晚57團就遭到解放軍猛攻，損失過半，團長羅文浪想如果率部後撤，必成為李天霞的替罪羊，不如向74師靠攏，還有一線生機，便指揮餘部於13日凌晨調頭殺入包圍圈，佔領垛莊以東高地，向74師報到，與74師58旅172團並肩防守西南陣地。
5月13日，國軍繼續攻擊前進，74師經激戰攻佔馬山、邁逼山、大箭，距離坦埠已不到6公里。黃昏前後發現坦埠附近有解放軍重兵，恐夜間遭襲，便除了在前沿要地留置少數部隊警戒，主力收縮至楊家寨、馬牧池、重山、艾山地區，準備次日拂曉總攻。而就在這兩天裡，解放軍各部已完成了戰役各項組織準備，並達到預定集結位置。
13日晚，第1、8縱隊主力尋隙向敵縱深穿插，至14日上午，1縱以攻佔曹莊、黃鬥頂山、天馬山等要點，割裂74師與25師的聯繫，並佔領285和330高地，切斷了連接垛莊的急造軍路；8縱攻佔桃花山、鼻子山，割裂了74師與83師的聯繫；6縱也連夜急進，於14日晨到達垛莊西南觀上、白埠地區；正面之第4、9縱隊連夜猛攻，奪取黃鹿寨、馬牧池等地。面對解放軍的夜間進攻，74師最初還以為是解放軍的局部反擊，仍在為次日進攻坦埠進行準備，當馬牧池失守後，才發現情況不妙，決定查明情況再行定奪。14日上午10時，74師師長張靈甫得知天馬山等要地均被攻佔，而且垛莊附近也發現解放軍，意識到解放軍有圍殲全師的企圖，立即向垛莊南撤，並組織力量向1縱迂迴部隊發起反擊。粟裕見其南撤，也隨即指揮各部發起攻擊，74師在解放軍各部側擊、尾擊下，只得於當晚退守蘆山、孟良崮以北地區。
此時，解放軍已基本完成戰役設想，形成了對74師的圍攻態勢。但合圍還不嚴密，外圍國軍距離也不遠，近者還不到10千米，遠的也不過50千米，憑74師的戰鬥力，如果內外合擊，突圍應不成問題，即使做不到全身而退，至少大部分主力還是可以保存下來的。但是蔣介石認為74師佔據著制高點，享有地利之優，加上其強勁的戰鬥力，附近又有兵力雄厚的外圍部隊，正是與華東解放軍主力決戰的大好時機，於是命令74師堅決固守，吸引解放軍主力，來個中心開花！有關電文如下：
“顧司令祝同兄北恩伯、靈甫兄勳鑑：今已得知靈甫之74師被圍孟良崮，甚驚，又甚喜。其驚之因是靈甫被困，隨時有危險發生。其喜之因是靈甫給我國軍尋找了一個殲滅共軍陳粟部於孟良崮的大好機會。因為我74師戰鬥力強、裝備精良，且處於有利地形；再之，有恩伯、敬久、歐震三兄兵團大軍雲集，正是我國軍同陳粟決戰的好機會，現命令74師靈甫部堅守陣地、吸引共軍主力，再調10個師之兵力增援74師，以圖裡應外合，中心開花，夾擊共軍，決戰一場，殲陳粟大部或一部之兵力，一舉改變華東戰局。總之，一切均仰仗諸位精誠團結，協同作戰，為黨國大業獻身出力，乃千秋之榮也。“同時嚴令新泰之整編11師、蒙陰之整編65師、桃墟之整編25師、青駝寺之整編83師、河陽之第7軍和整編48師火速向74師靠攏，並急調第5軍、整編64師、20師和9師兼程馳援，集中外線10個整編師（軍）與解放軍決戰！74師副參謀長李運良力主堅守孟良崮，以置之死地而後生的精神配合外線友軍與解放軍決戰，參謀長魏振鉞認為此地孤山絕地，為兵家大忌，不宜堅守。師長張靈甫認為自己部隊建制完整，戰鬥力又強，外圍友鄰相距又近，雖然彈藥、糧食、飲水都很缺乏，但堅持一兩天沒有問題，而一兩天足以實現中心開花的戰役企圖，正是建立殊勳的時候，因此立即調整部署，依託孟良崮等險要山頭進行防禦，同時要求空投糧、彈、水接濟。
海拔600米的孟良崮是蘆山山區的主峰，蘆山山區位於蒙陰東南60千米，南北長約30千米，東西寬約40千米，孟良崮、萬泉山、雕窩等山峰起伏相連，山勢險峻，草木稀疏。74師決定依託孟良崮堅守後，將58旅部署在孟良崮、雕窩和蘆山一線的核心區域，51旅防守西北的540、520和285高地，57旅防守北面的石旺崖、大碾，這些山峰全部是石頭山，石質堅硬，無法構築堅固工事，只好用石頭壘成圍牆，以山溝和石頭縫隙為隱蔽所，並在山路上設置鹿砦和障礙物。但是12門105榴彈炮無法上山，只好拋棄在山下。
解放軍也察覺國軍正在組織龐大兵力來援，形勢非常嚴峻，一面命令阻援部隊堅決頂住外線國軍，一面要求主攻部隊不惜一切代價，以“在百萬軍中取上將首級”的膽略在外線國軍到達前，消滅74師。
14日天黑後解放軍發揮夜戰優勢，連夜組織連續攻擊，經徹夜激戰至15日拂曉，6縱在1縱協同下攻佔關鍵要點垛莊（垛莊是74師的前進補給基地，儲存有大量彈藥和近百輛汽車，全數被6縱所獲），8縱攻佔萬泉山，3個負責穿插割裂的縱隊聯成一氣，正面的第4、9縱隊也攻佔唐家峪子、趙家城子一線，並一度攻佔當陽、雕窩。至此5個主攻縱隊打通相互聯繫，形成了對74師的合圍，並構成了對83師和25師的防線；與此同時，解放軍阻援部隊10縱迫近萊蕪；3縱到達新泰東南阻擊整編11師；2縱在界湖地區壓迫整編83師，並阻擊第7軍；7縱在河陽地區攻擊第7軍和整編48師側翼；魯南和濱海軍區部隊迫近臨沂，威脅國軍後方。粟裕在艾山腳下張林村的一個山洞裡開設了前進指揮部，於當晚23時下令：明日拂曉3時發起總攻，以期儘可能於明日上午解決戰鬥！
15日激戰全面展開，1縱除以4個團抗擊25師的增援，其餘部隊全部投入對74師的攻擊；4縱猛攻西北的540高地；9縱主攻西南制高點雕窩；在各陣地上，均展開了激烈的反覆爭奪。國軍第1兵團的戰鬥詳報這樣描述：“匪軍陸續增加，不斷撲犯，槍炮如雨，火光沖天。戰鬥之慘烈，素所未見！萬泉山失守後，匪即猛攻雕窩。同時東北麓之匪軍蟻聚麋集，於其熾盛火力之下，逐波衝鋒，勢如潮湧。午間，垛莊方向匪之6縱沿西麓進犯，戰況更為緊迫。午後至夜間，匪軍更番迫近，我軍抵死搏鬥，反覆衝殺，戰鬥殊為慘烈！”由於孟良崮山區全部是石頭山，無法構築工事，74師人員、馬匹和物資全部暴露在解放軍炮火之下，炮彈落地碎石頭隨著彈片四下迸飛，無形中大大增加了炮火殺傷威力，而且彈藥、糧食、飲水俱無，國軍空投物資一來因為74師佔領地區狹小很多落在解放軍陣地上，二來74師唯一的對空聯絡電臺又在14日戰鬥中被毀，無法進行準確指引空投。74師官兵傷無醫，飢無食，渴無水，仍不失王牌軍的風範，絲毫未見潰亂，每一陣地都經過數次乃至數十次爭奪，防禦相反頑強，反衝擊仍是相當凌厲，戰況之激烈為解放戰爭以來所罕見。張靈甫預感到已處絕境，於當日下午決定突圍，首先在飛機掩護下兵分兩路向垛莊突圍，被6縱擊退，再向西突圍又被1縱打退，繼而向東，雖然奪回雕窩高地，但突圍還是被9縱所阻。
戰至黃昏，74師非但沒能突圍，而且因傷亡慘重被解放軍乘勢反攻，所佔陣地相繼失守，被壓縮在孟良崮、蘆山南北不到2千米、東西不到3千米狹小區域，只控制著幾個山頭，74師師部退到600高地的一個山洞裡，湯恩伯通過報話機指示張靈甫向萬泉山突圍，以求與距離最近的83師會合，但74師此時已無力組織突擊了。
孟良崮地區激戰正酣，外線國軍也在全力進擊以解74師之圍。上午10時起，整編25師以2個團的兵力向覆浮山、界牌、天馬山一線猛攻，25師師長黃百韜確實盡了全力，而沒有像其他國軍那樣保存實力，他指揮所部在炮火掩護下，以連營規模連續發起集團衝鋒，戰至午後，已連下覆浮山、界牌，只剩下天馬山一處。擔負該地阻擊的是由1縱1師指揮的4個團，其中2個團還是剛由地方武裝升級而來的新部隊，下午16時許，4個團的守軍幾乎已經傷亡殆盡了，25師則攻到天馬山的山腰，1師師長廖政國投入了最後1個連的預備隊和師部警衛排，手裡只剩下師部的警衛班了，而1縱主力此時正在阻擊74師的突圍根本無法抽兵支援，眼看天馬山即將失守，而天馬山之後就再無險可守！就在此危急之時，4縱10師28團一個營正巧路過，廖政國立即攔下這個營，將其投入天馬山陣地，25師此時傷亡已經近萬，這時就是增加一個連都會產生壓倒性的優勢，何況一個主力營呢，25師最後的攻擊被擊退，其援救功虧一簣。
與張靈甫有著矛盾，慣打滑頭仗的83師師長李天霞此時也不敢怠慢，在坦克掩護下全力向桃花山一線猛攻，攻佔鼻子山，距離74師僅5千米，但仍未突破8縱的最後陣地。
整編11師從新泰南下馳援，推進10多千米，3縱拼盡全力，白天陣地失守，夜晚組織反擊，終於將其阻遏於蒙陰以北。
第7軍和整編48師則受到7縱側擊，無法全力攻擊，前進遲緩。
國軍其他部隊第5軍已到新泰，64師到青駝寺。
全天，國軍駐濟南和徐州的第5大隊27中隊的P51、第1大隊的B25和第3大隊的P51，頻頻出動，傾盡全力空中掩護，由於戰區狹小，雙方戰線又是犬牙交錯，空中掩護很難奏效。
當晚22時，陳毅與主攻的幾個縱隊司令葉飛、許世友等通電話，通報了外線戰況，指出如果不能在16日拂曉前拿下孟良崮，那華野全軍就將陷入被敵合圍的險境，因此必須不惜一切代價，務必在16日拂曉前拿下孟良崮，陳毅重申了追究失職者責任的“撤職、查辦、殺頭”的三大戰場紀律！為了防止部隊有保存實力之嫌，特意保證在戰役結束後補足各部傷亡，打掉一千補一千，打掉二千補二千，這在解放戰爭中是絕無僅有的！據說，當時陳毅是這樣說的：“葉飛啊,山東解放區的安危決定於能否在1天之內殲滅74師。你們要不惜代價儘快拿下孟良崮，哪怕拼掉2個縱隊，也要完成任務。”“許司令嗎？現在各路援敵節節逼近，打援、阻援的部隊打得很艱苦、很頑強，聚殲74師，成敗在此一舉，我們能爭取的時間已經不多，你們要儘快把孟良崮拿下來！” “蔣介石拼死和我們決戰，把我們反包圍了，情況十分嚴重。現在成敗在此一舉，要不惜一切代價吃掉74師，拿下孟良崮。你們打掉1千，我給你們補1千，打掉2千，我給你們補2千，那怕縱隊打光了，只要把敵人消滅也在所不惜。我給你們補充，恢復你們的番號。誰攻上孟良崮，誰就是英雄！現在只有衝鋒，後退就是死亡。”
隨後粟裕下達總攻部署：9縱以6個團攻擊520高地；4縱以6個團攻擊540高地；8縱以4個團攻擊蘆山；6縱6個團和1縱7個團分別從南、西兩面攻擊，然後圍攻孟良崮。總共投入29個團由1縱司令葉飛統一指揮，預定於16日凌晨1時開始總攻。
16日1時，解放軍集中全部炮火猛轟74師陣地，由於74師人員蝟集在狹小地區，又沒有工事掩蔽，一發炮彈就能造成大量人員傷亡，戰鬥隊形開始混亂，但當解放軍攻擊開始後，74師餘部仍頑強迎戰，與解放軍拼刺刀拼手榴彈，很多陣地都是經過白刃肉搏之後才被攻佔。天亮後，520高地和540高地接連失守。
8時，蔣介石親自向外線援軍下達手令：“山東共匪主力今向我傾巢出犯，此為我軍殲滅共匪完成革命唯一之良機。凡我全體將士應竭盡全力，把握此一戰機，萬眾一心，共同一致，密切聯繫，協力邁進，齊向當面共軍猛攻，務期殲滅共匪，以告慰總理及陣亡將士在天之靈。如有萎靡猶豫，梭巡不前或赴援不力，中途停頓，以致友軍危亡，致共匪漏網逃脫，定必以畏匪避戰，縱匪害國延誤戰局，嚴究論罪不貸！希望奮勉勿誤。”陸軍總司令顧祝同、第1兵團司令湯恩伯也相繼電令各部加速前進。在這種情況下，外線各部哪裡還敢保存實力，無不全力赴援，距離74師最近的25師和83師，25師在前幾天的戰鬥中大傷元氣，已是強弩之末，再難有進展。83師李天霞知道現在可不是打滑頭仗的關頭，連預備隊也投入了戰鬥，但在2縱、8縱頑強抗擊下，直到當晚才佔領孫祖、桃花山，可惜為時已晚。
外線阻援激戰不休，孟良崮地區戰鬥也緊張進行，陳毅、粟裕對戰況非常關心，幾乎每隔5分鐘就打電話向各主攻縱隊詢問，主攻各部也意識到情況緊急，奮力突擊。中午前後，張靈甫用電臺發出遺書：“十餘萬之匪，向我圍攻數日，今彈盡援絕，水糧俱無，我決定與仁杰（74師副師長蔡仁杰）戰至最後以一彈飲訣，上報國家領袖，下對部屬袍澤。老父來京，未克親侍，希善待之，幼子希善撫之，玉玲吾妻，今永訣矣。”
13時，8縱23師在6縱一部協同下，攻佔蘆山。隨後解放軍各部從多個方向向孟良崮、600高地展開攻擊，戰至15時許，攻佔孟良崮和600高地。74師副師長蔡仁杰、58旅旅長盧醒陣亡，74師參謀長魏振鉞、副參謀長李運良、51旅旅長陳傳鈞、57旅旅長陳噓雲被俘。關於74師師長張靈甫之死則是個謎，一直沒有權威的結論，主要有以下三種說法：一是自殺，這是一個僥倖突圍的74師副團長向國防部報告的，另有1位就在師部門口的74軍連長回憶是張靈甫命令副官劉立智將張靈甫、蔡仁杰和盧醒打死的；二是擊斃，張靈甫和警衛堅守師部所在山洞，解放軍攻擊時多人傷亡，只好投入手榴彈然後亂槍掃射將其擊斃，這是5月30日陳毅、粟裕向中央報告的；三是被俘後被殺，4縱30團曾於16日報告華野司令部俘虜張靈甫，後又告失蹤，據查押解途中6縱特務團副團長何鳳山因自己部隊傷亡很大，氣憤不過將其槍殺。這一論點的根據是陳毅曾於5月29日在團以上幹部會議就此進行過嚴肅批評，陳毅說：“此次對俘虜政策的破壞達到了相當嚴重的程度，對放下武器的自由殺害，各級幹部不加責備，不追究責任。”此戰由於74師頑強抵抗，解放軍參戰各部傷亡都相當嚴重，戰鬥結束後槍殺俘虜以報仇的事情屢屢發生，因此張靈甫被殺也在情理之中。粟裕在解放後接受《紅日》的作者吳強採訪時被講到，張靈甫的致命傷口是湯姆森槍從左腦後打進，右下顎穿出（與張靈甫殺妻之彈道如出一轍）。而張靈甫身材高大，這樣的彈道只有在他下蹲或彎腰姿態才有可能形成。——張靈甫的屍體被掩埋在沂水縣野豬旺村後山岡上，解放軍還在墳墓前樹立一木牌，上書“張靈甫之墓”，以便其家屬認領。蔣介石為其頒發第3號旌忠狀，在南京玄武湖畔為其修建紀念碑（解放後被拆毀），將山東蒙陰縣改名為靈甫縣，並將英國援助的1艘驅逐艦命名為靈甫號。1949年國軍退至臺灣，建軍人祠，張靈甫為“烈士”第一人。
14時許，戰鬥基本平息，各部正在打掃戰場，華野指揮部電臺監聽到孟良崮地區還有國軍電臺活動，立即判斷74師還有殘部沒有解決，粟裕隨即嚴令各部清查斃傷俘虜戰果，發現所報數字與74師編制數目尚有數千之差，馬上命令各部加強搜索，果然在孟良崮、雕窩之間的山谷中發現約7000多人，這些官兵不開槍不走動，靜靜等待解放軍撤走後與增援部隊會合，大敗之後還能如此，其戰力之強軍紀之嚴可見一斑！解放軍先前曾發現過，但見其既沒有開火也沒有奔跑，以為是友軍而未注意，解放軍第4、8、9縱隨即組織兜剿，這7000人槍膛裡幾乎都已沒有了子彈，所以基本沒有抵抗，很快就被全殲。
17時，孟良崮戰鬥徹底結束。這時電閃雷鳴暴雨如注，這場雨要是早下一天，或是半天，74師也就不至於飽受缺水之苦，不僅士兵可以再堅持作戰，而且74師營團火力骨幹是美製M1917重機槍，是水冷式的，必須要靠水冷卻，由於孟良崮沒水，74師很多重機槍都無法正常使用，其火力大受影響，似乎冥冥天意？
對於此役，國民黨方面這樣描述：“孟良崮為沂山餘脈，高逾千仞，乃石巖光山，構工不易，峭壁深谷，運動尤難，目標暴露，形成彈巢。且彈落石飛，增大傷亡，但靈甫勢逼此處，部隊既無法展開，火力亦不能發揮。雖有駐徐州、濟南、青島等處飛機增援空投物質，然孟良崮山地險要，地域狹窄，空投無效，更致張靈甫部糧彈飲水奇乏，遂致以屍體作掩護，以便溺充飲渴……”
華野參謀長陳士榘將軍這樣描述：“敵人臨時佔領的陣地均為岩石，無法構築工事，人員、馬匹、輜重等完全暴露在我軍強大火力之下。敵人空投的糧彈也多半落在其陣地之外，為我軍所獲。敵飢無食、渴無水，內無糧草，外無援兵，士無鬥志，軍心動搖，亂成一團。我攻擊部隊集中強大炮火，向敵群猛烈轟擊。只見山上一片火海，血肉橫飛。74師人馬東躲西藏、互相踐踏、爭相逃命，戰鬥隊形完全混亂……”
接到戰鬥徹底結束的報告，陳毅、粟裕都如釋重負，陳毅後來坦言：“打張靈甫這三天，我的腦子簡直要被壓碎了！以後兒子長大了，不能讓他帶兵，這不是人乾的。”其壓力之大，可想而知。
原來解放軍還計劃在殲滅74師後再擴張戰果，攻擊83師或25師，但一來部隊經過多日苦戰，已相當疲乏，又沒有預備隊；二來國軍幾支部隊都已經相互靠攏，隊形密集難以分割，因此16日深夜，粟裕下令各部脫離戰場，撤至坦埠、馬牧池以北地區休整。
此役，解放軍殲滅整編74師和整編83師19旅57團，斃傷敵1.3萬人，俘虜1 .9萬人，合計3.2萬人，繳獲山、野炮28門，步兵炮和戰防炮14門，迫擊炮235門，輕重機槍987挺，長短槍9828支，火箭筒43具。解放軍陣亡2043人，傷9300人（不包括阻援傷亡），幾乎相當於74師傷亡數。損耗迫擊炮6門，輕重機槍153挺，長短槍531支，消耗炮彈3 .3萬發，子彈199萬發，手榴彈2.9萬枚。作戰地區為老解放區，不僅實行了堅壁清野，還出動7 .6萬隨軍民工，15.4萬二線民工，69萬臨時民工，運送彈藥、糧食和傷員，為戰役勝利作出巨大貢獻。
74師在孟良崮的失敗，究其原因，主要是：第一是地形不利，山區不利於重裝備部隊行動，74師無法將105毫米榴彈炮拉上山就是明證，而且孟良崮是石頭山，既無法構築工事，又沒有水源，是標準的絕地；第二是輕敵冒進，認為解放軍沒有力量吃掉74師這樣的王牌，即便在這樣的絕地堅持一兩天也沒有問題（確實，74師堅持了3天），如果在14日就堅決組織突圍，應該能突出包圍；第三情報不力，對於魯南地區有解放軍6縱活動的情報，也未加以重視與核實，結果正是該部襲佔垛莊，切斷74師南撤之路。
有人說，孟良崮之戰的失利，是張靈甫有勇無謀，把好一支王牌軍帶上了絕境，也有人說，孟良崮戰役對於國軍是個機會，但是需要作出犧牲，張靈甫毅然以單騎闖陣、匹馬斫營的勇氣爭取這樣一個機會，那是慷然赴死的無畏氣概。
國軍戰後召開軍事檢討會議，25師師長黃百韜自知難過此關，便主動承擔責任，顧祝同、湯恩伯均表示張靈甫驕傲自大輕敵冒進才是主要原因，況且25師在後來救援作戰中確實相當賣力，傷亡逾萬，因此黃受到撤職留任的處分。湯恩伯因指揮不力被免去兵團司令。83師師長李天霞一開始就有意保存實力，沒能有效掩護74師側翼，念在74師被圍後還算積極救援，免於一死，但被撤職送交軍事法庭，後靠其家人花費巨資（據說是花了十多條金條）上下打點，才逃脫牢獄之災，於一年後復出，任73軍軍長。
