酷暑七月，陳粟不利。
讓陳毅、粟裕感到十分突然的，是毛澤東六月二十九日發來的電報：
……蔣軍毫無出路，被迫採取胡宗南在陝北之戰術，集中六個師於不及百里之正面向我前進。此種戰術除避免殲滅及騷擾居民外，毫無作用。而其缺點則是兩翼及後路異常空虛，給我以放手殲擊之機會。你們應以兩個至三個縱隊出魯南，先攻費縣，再攻鄒（鄒縣）、滕（滕縣）、臨（臨城）、棗（棗莊），縱橫進擊，完全機動，每次以殲敵一個旅為目的。以殲敵為主，不以斷其接濟為主。臨蒙（臨沂至蒙陰）段無須控制，空費兵力。此外，你們還要以適當時機，以兩個縱隊經吐絲口攻佔泰安，掃蕩泰安以西、以南各地，亦以往來機動殲敵有生力量為目的，正面留四個縱隊監視該敵，使外出兩路易於得手。以上方針，是因為敵正面既然絕對集中兵力，我軍便不應再繼續採取集中兵力方針，而應改取分路出擊其遠後方之方針。其外出兩路兵力，或以兩縱隊出魯南，以三個縱隊出魯西亦可……
在這封電報中，毛澤東突然改變了一個月前要求陳粟不要分兵、堅持內線殲敵的方針——五月二十二日，毛澤東曾為中央軍委起草致陳毅、粟裕電：
……殲滅七十四師，付出代價較多，但意義極大，證明在現地區作戰，只要不性急，不分兵，是能夠用各個殲擊方法打破敵人進攻，取得決定勝利。而在現地區作戰，是於我最為有利，於敵最為不利。現在全國各戰場除山東外均已採取攻勢，但這一攻勢的意義，均是幫助主要戰場山東打破敵人進攻。蔣管區日益擴大的人民鬥爭，其作用也是如此，劉鄧下月出擊作用也是如此。而山東方面的作戰方法，是集中全部主力於濟南、臨沂、海州之線以北地區，準備用六七個月時間〔五月起〕，六七萬人傷亡，各個殲滅該線之敵。該線擊破之日，即是全面大勝利之時，爾後一切作戰均將較為順利……
在這封電報中，中央軍委明確指出：山東戰場的作戰「於我最為有利，於敵最為不利」，其他戰場的攻勢均是為了「幫助主要戰場山東打破敵人進攻」。但是在後來的電報中，中央軍委要求華東野戰軍採取的分兵行動，目的是為了配合即將出擊中原的劉鄧大軍作戰——「我軍必須在七天或十天內，以神速動作攻取泰安南北及其西方、西南方地區，打開與劉鄧會師之道路，如動作過緩，則來不及。」
此時，就全國戰場而言，山東依舊是國共兩軍對峙最嚴重的地區。
就軍事形勢而言，陳毅、粟裕承擔的壓力最大。
孟良崮戰役雖使國民黨軍隊損失慘重，但蔣介石並沒有放棄在山東實施重點進攻的計劃：「沂蒙山之戰，是我們革命軍人生死存亡所關的一戰，挽回頹勢，把握勝利，就要從這一戰開始。我決定把全副精神用在這個戰場上。」蔣介石採納了他的日本軍事顧問提出的「並進不如重疊，分進不如合進」的建議，將山東戰場上的攻擊兵團重新編組，九個整編師共二十五個整編旅被部署在萊蕪至蒙陰不到五十公里的戰線上，以三四個師為一個方陣，「前後重疊，交互前進，企圖迫使華東野戰軍在魯中山區狹窄地帶迎戰」。
陳毅、粟裕仔細研究了要求他們分兵出擊的電報。電報雖然只提到山東當面的敵情，但既然劉鄧大軍即將出擊，全國戰局必有重大發展，於是陳毅、粟裕決定：將華東野戰軍主力分成三路向敵人發動攻擊。具體部署是：由葉飛、陶勇率第一縱隊和第四縱隊組成左路兵團，越過臨蒙公路向魯南挺進；由野戰軍參謀長陳士矩、政治部主任唐亮率第三、第八、第十縱隊組成的右路兵團，向魯西的泰安、大汶口方向挺進；陳毅和粟裕直接指揮第二、第六、第七、第九縱隊和特種兵縱隊集結在沂水、悅莊公路兩側，各以少部兵力與北犯之敵接觸，主力待機出擊。此作戰部署於七月一日開始執行。
這就是華東野戰軍戰史上著名的「七月分兵」。
「『七月分兵』是在未經充分準備的情況下開始的。」粟裕後來回憶道，「在接到軍委六月二十九日分兵指示前，我們是按照軍委五月二十二日指示，準備以七八個月時間，即在一九四七年底之前，集中全部主力在內線各個殲敵的。接到軍委六月二十九日分兵指示，到全軍開始行動僅有一天多時間。」
「七月分兵」導致了一系列作戰不利的後果，因此也成為華東野戰軍戰史上頗具爭議的行動之一。
從當時戰場局勢上分析，毛澤東在大敵當前的情況下，違反一貫主張的集中優勢兵力打殲滅戰的軍事原則，冒著被各個擊破的危險而採取分兵出擊的舉動，無疑是配合劉鄧大軍強渡黃河出動中原所必須。按照當時陳粟大軍所處的戰場態勢，堅持內線作戰的可能性是存在的，因為五十多個縣城在手且連成一片，又有膠東、渤海和濱海三個地區可以周旋，如果組織得當，再取得一個如同孟良崮一樣的勝利不是不可能的。山東戰場的大規模作戰勢必牽制國民黨軍，抑或造成國民黨軍為增援而進行頻繁調動，若能在機動中尋機大量殲敵，將是對劉鄧大軍最有利的配合。但是，毛澤東擔心的是時間：劉鄧大軍的出動時間已無法更改，必須按時對其進行強有力的軍事配合；雖然陳粟大軍目前還無法預測戰機到來的時間，可劉鄧大軍已是不能等待。
六月二十八日，葉飛、陶勇的左路兵團出發了。天降大雨，官兵在泥濘中向魯南奔襲五百華里，深深地插入了國民黨軍的側後。十天之後，左路兵團開始攻擊費縣，一夜之間便將國民黨守軍全殲。天亮的時候，國民黨軍的飛機來了，密集的炸彈把費縣炸得天翻地覆。轟炸不但給左路兵團攻擊部隊造成傷亡，連被俘的國民黨軍三十三旅旅長翟紫封也被炸死了。
左路兵團接著攻擊棗莊和嶧縣，迫使當面國民黨軍退守運河。但是，當左路兵團繼續西進，試圖攻擊滕縣和鄒縣，控制津浦鐵路徐州至兗州段時，巨大的麻煩來了。
滕縣和鄒縣位於津浦鐵路中段，是國民黨軍重要的物資補給站，戰略防禦工事極其堅固，兩座縣城裡的守軍均兵力充沛，糧彈充足。葉飛和陶勇同時對兩座縣城實施攻擊，導致本不充裕的兵力被分散，加上攻城器材嚴重缺乏，彈藥也因連日大雨被淋濕而失效，結果攻擊持續了整整四天毫無效果。葉飛和陶勇決定放棄鄒縣，集中主力全力攻擊滕縣，但國民黨軍七個整編師已增援而來，左路兵團只有迅速撤離戰場。
右路兵團的任務是攻擊濟寧和汶上。由於向泰安、大汶口攻擊前進時一路順利，於是認為攻擊濟寧時守軍也會望風而逃。但是，在包圍濟寧城並佔領了外廓城之後，突然發現守軍不但兵力比預料的多，而且強勁的火力顯示出頑強的守城決心。濟寧守軍為國民黨軍整編七十二師全部以及整編三十二、七十師各一個團，總兵力達兩萬餘人。三縱八師奉命對內城實施攻擊，守軍炮火猛烈，城中街道狹窄，攻城官兵缺少防炮經驗，沒有在街道中築起防禦工事，結果傷亡巨大。在主攻方向東門，連續爆破連續失利，守軍將城門堵塞得異常堅固，炸藥根本無法接近城門，而城牆上的阻擊火力密集而兇猛。三縱決定使用雲梯強行攀爬城牆，部隊準備了一天，七月二十日晚上繼續攻城。臨時製作的雲梯不是太短，就是不堅固，不斷被守軍打斷，有的雲梯由於上去的人多而折斷，攻擊再度失利。在東南角攻擊的九師一度攀登成功，突進城內七個連，但很快遭到守軍的猛烈反擊，突進去的部隊被壓縮在城內一角。守軍集中炮火封鎖突破口，攻擊的後續部隊無法增援，結果突進去的七個連的官兵全部戰死。
濟寧一戰，三縱傷亡三千二百餘人。
十縱的任務是攻擊汶上縣城。汶上守軍為國民黨軍整編八十四師的兩個團及地方武裝，總兵力約四千餘人。攻擊部隊認為守軍戰鬥力不強，戰鬥開始前急促接近，生怕守軍棄城逃跑，部隊打不了殲滅戰。但是，戰鬥一打響，守軍不但沒跑，而且死拚死守，這使於十五日開始的攻擊連續受挫。十八日凌晨，大雨傾盆，各個方向的突破都沒有進展，不得不停止攻擊。十九日再攻，八十七團攻東關，突擊隊被守軍火力壓制，爆破組派出的爆破手全部在中途陣亡。八十七團的參謀長叫雷英夫，是半年前從延安總部調來的。他在延安抗大學習的時候被毛澤東看中，並推薦給了周恩來做軍事秘書。雷英夫在前沿再次組織爆破，一個名叫王金石的班長請纓出擊。王班長不顧一切地打開了突擊道路，但他隨後便在衝擊中中彈犧牲。東關被佔領了，但其他攻擊方向依舊沒有進展。在西關方向攻擊的八十二團官兵抱著的炸藥包衝擊時，手中的炸藥包被守軍密集的子彈擊中爆炸，全團的攻擊被迫停止。二十日晚上，十縱再次組織攻擊，仍然無效，天亮時，得知國民黨援軍已經到達。
小小的汶上縣城，十縱連續攻擊六天未下。
作戰嚴重失利的還有陳毅、粟裕親自指揮的由第二、第六、第七、第九縱隊和特種兵縱隊組成的正面部隊。
南麻，魯中山區的一個小小的盆地，一個令華東野戰軍官兵刻骨銘心的地方。
駐守南麻的是國民黨軍「五大主力」之一整編十一師，全師裝備精良，訓練有素，在宿北戰役、魯南戰役、萊蕪戰役和孟良崮戰役中都曾與共產黨軍隊交手，從未吃過大虧。師長胡璉以作戰勇猛又工於心計聞名，國民黨軍中對他的評價是：帶兵用人唯能；作戰警惕性高，企圖性強；重視戰前偵查；注意對手的作戰特點和指揮特點，能夠依據對手的不同，或是選擇有利地形頑抗，或是集中兵力猛攻。
六月中旬，胡璉從新泰向東推進，中途曾發生幾十名官兵因為踩上地雷而身亡的事件，也曾遭到華東野戰軍小股部隊的阻擊，但這些都沒能阻止胡璉推進的決心。佔領魯村之後，原準備駐紮在這裡，但是張靈甫的整編七十四師在孟良崮被殲，令胡璉變得格外小心謹慎。他認為魯村四面環山，環山構成防禦線需要眾多兵力，兵力不足即會造成處處薄弱，麇集村中的數萬部隊一旦遭遇襲擊，將面臨四面受敵的危境。因此，胡璉請示徐州司令部要求移駐南麻。
迅速進駐南麻的整編十一師沒有急於推進，而是在這裡駐紮了二十天之久，胡璉作出十分周密的防禦部署，然後督促官兵晝夜趕修工事。南麻北、西、南三面是山地，東北面是通往悅莊方向的小丘陵。北面山地上有一隘口通往博山，隘口狹窄，一個營的兵力就可以封鎖自北而來的通道。這樣地形可謂易守難攻。胡璉親自帶四個團駐守南麻，另外兩個旅分別駐守在北麻、高莊、北劉家莊、吳家官莊等要地，這些要地靠得很近，各部隊因此得以彼此靠攏。在胡璉的命令下，南麻四周方圓五公里的範圍內，所有重要據點都修築了以子母堡壘為中心的工事。這些隱蔽而堅固的工事依地形呈不規則形狀，各地堡之間都有交通壕相連，交通壕上蓋有厚厚的土石足以抵擋炮火的打擊。每一處陣地前五百米內，所有的樹木和莊稼都被砍光。在子母堡壘外圍，設有三至四道鹿砦和鐵絲網，還埋下了大量的地雷。由兩千多個子母堡壘組成的南麻防禦體系築成後，胡璉組織了一次抗攻擊演練，演練結束後他致電蔣介石，聲稱整編十一師是一座攻不破、摧不毀的堡壘。
應該說，選擇打戰鬥力很強的整編十一師，是陳毅、粟裕有意為之，目的是「為了配合劉鄧大軍作戰」，打一個像孟良崮「那樣的大勝仗」。當時的戰場態勢也支持他們的設想，因為葉飛、陶勇和陳士矩、唐亮兩路部隊的分別出擊，已嚴重威脅國民黨軍的後方基地，迫使魯中的國民黨軍停止東犯轉為西援，魯中山區只剩下了整編第九師、整編十一師、整編二十五師和整編六十四師。陳毅和粟裕認為圍殲敵人的戰機已經出現。同時，孟良崮戰役後，華東野戰軍上下士氣高昂，官兵們把國民黨軍主力稱為「硬核桃」，把雜牌部隊稱為「爛葡萄」，都想尋找國民黨軍的精銳部隊作戰，說是「寧啃一個硬核桃，不吃三個爛葡萄」。
如果啃掉整編十一師這個「硬核桃」，戰果可就更大了。
戰後，陳毅和粟裕都承認，驕傲輕敵後果嚴重。
華東野戰軍主力圍殲南麻國民黨守軍的部署是：第九縱隊在北面以一個師進至南麻與魯村之間，斷敵退路，並向東攻擊，縱隊主力向北麻、南麻攻擊前進；第六縱隊在東面以一個師控制鳳凰山一線，阻擊南麻可能突圍之敵，縱隊主力向北劉家莊和南麻攻擊前進；第二縱隊在東北面以一部沿悅莊向儒林集攻擊，主力則向吳家官莊和南麻攻擊前進；第七縱隊在東面以一個師控制青泉山、於家崮一線，另一部擔任阻擊任務，保障攻擊南麻部隊的側翼安全；魯中軍區地方武裝、膠東軍區和渤海軍區部隊在外圍鉗制敵人，配合主力作戰。
從兵力上講，陳毅和粟裕佔據絕對優勢。
七月十七日，暴雨，近敵行動因惡劣天氣而受阻。第二天一早，各縱隊剛一到達指定位置，還未進行充分準備，攻擊就開始了。
韋國清指揮的二縱奉命攻擊南麻、吳家官莊的正面陣地。十七日上午，部隊向攻擊位置接近的時候，暴雨肆虐，積水成河，二縱的全部人馬、槍械和彈藥全被泡在了水裡。十八日，韋國清命令五師和六師肅清南麻外圍之敵，兩個師經過一天的苦戰逼近了守軍的主陣地。
許世友指揮九縱奉命從西北山地攻擊南麻，二十五、二十六、二十七三個師冒著大雨發起進攻。二十六師一部插入南新村與魯村之間，試圖分割南麻與魯村的聯繫。十八日凌晨，七十七、七十八團攻佔了南麻以西的荊泉山之後，七十八團二營在七十六團的配合下攻擊高莊西北的崮山高地。崮山高地是魯村通往南麻的必經之地，周圍都是不易接近的開闊地，整編十一師十八旅旅長覃道善認為有險可守，僅派出一個工兵營在此守衛。這個工兵營從來沒與共產黨軍隊作過戰，缺乏實戰經驗和指揮經驗，且官兵手中主要是工兵器材，戰鬥武器很少。該營營長孫敬山接到命令十分為難，但還是硬著頭皮上去了。戰鬥一開始，工兵營就發生了混亂，當九縱官兵衝上高地時，孫營長帶著他的官兵逃跑了。崮山高地可以俯瞰十八旅的全部防禦陣地，崮山瞬間失守令覃道善旅長大為吃驚，急忙向胡璉報告，承認自己用兵失誤，請求處分。胡璉立即乘吉普車趕到十八旅指揮所。瞭解情況之後，胡璉怒火滿腔，說在整編十一師歷史上還沒有過這種臨陣逃跑的先例，下令將工兵營營長槍決示眾。十八旅全旅駭然，自此拚死防守。九縱各師在各自的攻擊方向上都未能突破，與國民黨守軍在戰場上形成僵持。
王必成指揮的六縱奉命攻擊南麻南面的馬頭崮，十六師四十六團連續攻擊均未奏效。再次攻擊時，各連搭人梯向上攀爬，二連首先衝上崮頂，為後續部隊開闢出通道。四連一班長陳來富隻身突入陣地，用刺刀刺死幾個敵人後，帶領全班向崮頂衝擊，但被崮頂的猛烈火力所壓制。陳來富調整戰術，繞到一座懸崖下攀登絕壁，從側後登上了崮頂，守軍因受到兩面衝擊而混亂。在一個小山洞洞口，陳來富發現了幾具守軍屍體，從屍體胳膊上的臂章上判斷，這裡是敵人的一個指揮所，陳來富立即組織全班對山洞展開攻擊。在用手榴彈炸毀了洞裡的機槍之後，一班的官兵衝進山洞，查實他們打死了胡璉師長的一個副官。戰後，陳來富被六縱授予了「馬頭崮戰鬥英雄」稱號，被華東野戰軍授予了「華東二級人民英雄」稱號。
六縱十七師五十一團強渡沂河時遭到數倍守軍的反擊，敵人配合反擊的火炮多達二十門，五十一團全團被迫捲入殘酷的背水一戰中。一連長張家富犧牲，接替他指揮的三位排長都相繼負傷。二連長給營長寫了張字條，表示寧可戰死不後退一步。八連和七連被敵人分割，戰至最後僅剩兩名戰士，兩名戰士打光子彈後也犧牲了。當交戰雙方都付出了五百多人的傷亡時，五十一團倖存的官兵開始後撤。王必成調來四百多副擔架搶運傷員，擔架隊白天過河時遭到飛機轟炸，傷亡的人數再次陡增。
與此同時，十八師各團向柴糧山的攻擊也嚴重受挫。大雨滂沱，夜色漆黑，攻擊部隊被惡劣的天氣和守軍的火力所壓制，天亮之後又遭到飛機的猛烈轟炸。攻擊持續整整三天，柴糧山高地四周到處是逐漸腐爛的屍體。
華東野戰軍主力對南麻的攻擊已顯露出失利的跡象。
南麻受到攻擊之後，胡璉向徐州司令部求援，國民黨軍整編二十五師和整編六十四師的四個旅奉命向南麻增援。增援部隊指揮官黃百韜記取了在孟良崮增援緩慢的教訓，深知如果這次再不全力推進，必定受到嚴厲制裁，於是面對七縱的頑強阻擊，國民黨軍在猛烈炮火的掩護下，採用三個營為一個衝擊單位的滾動式戰法，一批垮下來，另一批立即出動，持續不斷，晝夜不停，導致七縱官兵每分每秒都陷於苦戰之中。
此時，攻擊南麻正面陣地的二縱也陷入了極大的困境。胡璉的子母堡壘給攻擊帶來的困難遠遠超出他們的預想。這種堡壘的特點是外圍利用鹿砦、鐵絲網、照明設備以及大量的地雷和集束手榴彈給予攻擊部隊極大的殺傷，而在堡壘的中心則隱蔽著大量的反擊兵力，當攻擊勢頭減弱之後，以中心堡壘為引領的反擊立即開始，與其相連的小堡壘則進行兩側的火力打擊。胡璉制定的防禦策略是：當受到攻擊時，利用外圍陣地，以小兵力向攻擊部隊進行襲擊，迫使攻擊部隊過早展開，等到攻擊部隊佔領前沿之後，立即組織縱深優勢兵力集中一點進行反擊，反擊時必須使用炮火反覆延伸射擊，以密集的火網給予攻擊部隊嚴重殺傷，然後堅決恢復前沿。胡璉甚至還鼓勵部隊使用假投降等手段，配合陣地內的隱蔽火力突然開火射擊。二縱官兵在以往的戰鬥中從未遇到這樣的子母堡壘，也很少遇到如此頑強的作戰對手，一時間攻擊面臨著嚴重的困境，部隊的傷亡遠遠超出殲敵數量。六師師長滕海清指揮部隊攻擊石線山，瓢潑大雨中，爆破組在敵人密集的火力網中向子母地堡接近，傷亡慘重。十六團二營四連在向子母堡實施爆破時，一個排的守軍突然手持衝鋒鎗從側面的地堡中反擊而出，四連在兩面夾擊下同樣傷亡慘重。六連奉命前往支援，二排長孫繼先率先衝入敵陣展開肉搏戰，戰士們在他的帶領下與敵人混戰在一起。子彈打光了就拼刺刀，刺刀彎了就拉響最後一顆手榴彈與敵人同歸於盡，血水和雨水在泥濘的戰場上橫流。十幾個敵人把孫繼先圍住，高喊「抓活的」，孫繼先拉響了一顆燃燒彈，然後縱身撲向敵人。二排還活著的官兵在大雨中眼看著他粉身碎骨，心如刀絞。十五團六連班長李志遠在相繼炸毀四座子母堡後犧牲，他被泥漿包裹著的身體因多處被炸已經無法辨認。十三團三營長馮福林脫下滿是泥和血的軍衣，赤膊上陣，連續爆破，最後也中彈倒下。
南麻戰役是解放戰爭中代價十分慘重的一次戰役。
戰鬥結束後，九縱傷亡四千多人，六縱傷亡兩千多人，負責正面攻擊的二縱傷亡四千多人，其中六師十六團二營只剩下二十多人，十七團有的連隊從戰場上只下來六七個人，其中的八連只活下來兩個人。
南麻戰役進行了整整五個晝夜，殲滅國民黨守軍一個團。
七月二十日，國民黨軍增援部隊突破華東野戰軍阻擊部隊的防線。
二十一日晚，陳毅、粟裕下達了撤出戰鬥的命令。
撤出南麻地區的部隊奉命北移到臨朐西南地區休整。
但是，此時臨朐已被國民黨軍整編第八師佔領，陳毅、粟裕向膠濟線以北轉移的通道被阻斷了。
情報顯示，進入臨朐的是整編第八師的先頭部隊，師主力尚未到達。而且，敵人還沒有來得及構築防禦工事。陳毅、粟裕認為，應該抓住此一戰機，將整編第八師的先頭部隊殲滅，以鼓舞士氣。於是，命令第六、第九縱隊圍攻臨朐，第七縱隊負責阻援——一向作戰周密謹慎的粟裕，在部隊剛剛遭遇重大傷亡的情況下，決定再次發起攻堅戰鬥，這不僅具有相當大的冒險性，還顯示出一種無法克制的急躁。
臨朐三面環山一面環水，平時可以徒涉的沂河和彌河因天降大雨河水暴漲，導致臨朐城外一片汪洋。
二十四日，離南麻戰役結束僅僅過去兩天，攻擊部隊在大雨中再次準備出擊。二十五日拂曉，第六、第七、第九縱隊到達臨朐城外時，獲悉整編第八師主力已經先於他們進入臨朐——如果說在整編第八師主力尚未到達的時候，對臨朐的攻擊還具有趁敵未穩的突襲性，那麼在敵人主力到達之後依然發起攻擊就顯得十分冒險了。但是，粟裕的決心沒有改變。
二十六日，攻擊開始。
臨朐外圍守軍營長在劇烈的槍聲中逃回城內，即刻被整編第八師師長李彌槍斃——李彌決心拼盡全力死守臨朐。
攻城部隊突擊南關，對城牆實施爆破時，因炸藥受潮，連續五次送上去的炸藥包都沒有響。夜晚，部隊再一次實施突擊爆破，終於將城牆炸開了一個口子，十四團一下子衝進去七個連，但突破口很快就被守軍封堵，兩個團的守軍進行猛烈反擊，突進去的部隊堅持了三小時後全部傷亡。
二十九日，二縱、六縱、九縱隊聯合發動攻擊，但攻擊依然受挫。
此時，國民黨軍整編第九師和整編六十四師已經臨近。
三十日，部隊經過五天五夜的戰鬥，極度疲勞，傷亡巨大，已面臨所承擔的作戰任務的極限，且「平地水深過膝」，糧食供應和傷員轉運都十分困難。粟裕被迫下達撤出戰鬥的命令，部隊開始向諸城方向轉移。
臨朐成為又一個南麻。
南麻、臨朐戰鬥的接連失利，使原來設想的左、右兩路部隊南北夾擊國民黨軍的計劃已無法實現，不但令陳毅和粟裕的正面戰線出現前所未有的危機，也給側翼出擊的兵團帶來了極大的危險。
左路兵團一縱和四縱，因孤懸於敵後，被國民黨軍緊追不放。葉飛和陶勇在監聽國民黨軍的無線電話時，發現一縱被稱為「西瓜」，四縱被稱為「麵包」，而敵人來往通話中充斥著「吃西瓜、啃麵包」之類的狂妄之言——國民黨軍的五個整編師開始合圍一縱和四縱，後續趕來的三個整編師也在急速接近。可以說，左路兵團已經身陷重圍。
陳毅和粟裕萬分焦慮，迫切希望他們東返。從當時的情況看，向北、向南突圍無望，西面是敵人重兵把守的津浦路，只有向東渡過沂河進入沂蒙山是唯一的出路。但是，此時，山洪暴發，沂水上漲，無法徒涉，況且國民黨軍也知華東野戰軍只能向東，已經做好了迎擊的準備。葉飛和陶勇徹夜研究，認為絕不能向東進入敵人的伏擊圈，遂決定出敵意外，向西突破津浦路，尋求與右路兵團部隊會合的可能。
為了順利地向西突圍，必須先讓一支部隊向東佯動，「這支部隊必須是強有力的，這才能造成主力東去的聲勢；而且又必須是具有犧牲精神的，在敵人重圍之中，很可能遭受重大傷亡，甚至為主力突圍而犧牲」。陶勇提出讓四縱彭德清的十二師承擔這一危險的任務。葉飛後來回憶說：「一、四縱隊的部隊，過去經常吵架。有時狹路相逢，少不了爭前恐後，互不相讓。互相有點看不起，因為都是主力部隊，什麼時候總要爭個高低。但配合作戰一直很好，總感到同是新四軍的部隊，不能丟人現眼。這種感情確是微妙得很。它絕不是山頭主義，也不是小團體主義，也不是風頭主義，而是滲透著階級友愛的革命英雄主義。所以在嚴重關頭，團結一致，顯示了自我犧牲精神。」
七月二十四日，兩個縱隊開始向東移動，並與國民黨軍整編第七師和整編四十八師激戰一日。國民黨軍急調增援部隊一齊向東壓來。大部隊向東突圍的假象已經造成，彭德清師繼續向東接近沂河，而一縱和四縱主力則趁機掉頭向西而去。二十八日晚，在滕縣以南，他們跨過津浦鐵路進入了魯南。
……那是獨山湖水網地帶，七八十里路汪洋一片。部隊全部暴露，任由敵機瘋狂掃射。連綿陰雨，被服裝具全部濕透，鞋襪全無，赤腳在水蕩或泥濘裡行進。村莊已被國民黨軍隊和還鄉團搶掠一空，糧秣無著。到處散佈著還鄉團的地主反動武裝，不時響起冷槍，突然飛來流彈。確是吃盡了苦頭，受到了考驗，部隊遭受很大損失，非戰鬥減員不少。有一次過河，水流湍急，譚啟龍（一縱副政治委員）同志騎的馬力氣小，加上過度疲勞，一個浪頭湧來，連人帶馬都給沖走了。剛巧我在一邊，順手一把拉住，否則，恐怕他就見馬克思去了。部隊極為狼狽，空著肚子行軍作戰，疲勞程度是無法形容的，倒在路邊的泥坑裡就睡著了，炮彈和炸彈的交替爆炸也喚不醒我們……
八月一日，突圍部隊終於在魯西南泗水附近與和右路兵團部隊會合時。野戰軍參謀長陳士矩看到一縱和四縱的官兵「身上除了短褲、背心和槍支子彈袋之外，什麼都沒有了。他們渾身泥水，腳板都泡爛了，許多人還流著血。」在這種情況下，一縱和四縱的戰士們僅僅提出了這樣的要求：「發一雙鞋子，睡一個好覺，吃一頓豬肉。」
此時，右路兵團的第十縱隊奉命在梁山地區阻擊國民黨軍整編第五師和整編八十四師。他們得到的指令是：「你們十縱隊的屁股只能朝北，不能朝南。」以一個縱隊對付兩個整編師，十縱兵力明顯處於劣勢。但是這支部隊以打阻擊聞名，孟良崮戰役中，就是他們擋住了整編第五師的增援。
梁山，唐宋時黃河潰決，形成大澤，故又稱「梁山泊」。如今，雖然八百里水面已經消退，但大雨又使這裡成為一片沼澤。在阻擊國民黨軍的戰鬥中，十縱水裡跑火裡鑽，陣地在殘酷的拉鋸戰中反覆易手，官兵們撤退了又粘上來，與敵人的兩個整編師圍著梁山糾纏不休。最後，他們被強敵擠進黃河與運河交叉的狹窄的三角地帶。整編第五師師長邱清泉向蔣介石報告說，共軍的第十縱隊已在五師囊中。
十縱的突圍行動十分壯烈。面對只有北渡黃河才能脫險的絕境，官兵毅然決然地向那條在暴雨狂嘯的大河撲去。沒有渡河器材，也沒有船隻，背後三面敵人合圍而來，天上的敵機狂轟濫炸。擔任阻擊的部隊誓死堅守，決心打到最後一個人，主力部隊則在轟炸下拚死強渡。十三日，敵人終於衝到黃河南岸，縱隊的偵察營、部分機關幹部、勤雜人員、大量的傷員以及四千多民工、數百匹騾馬被國民黨軍截住。除了偵察營少數官兵突出來之外，其餘大部分人員被俘或失散。
「七月分兵」以來，山東戰場各部隊連續作戰失利，導致國民黨軍佔領了膠濟線，作為華東野戰軍重要的物資基地和數萬名傷員安置地的膠東地區也面臨被佔領的危險。特別嚴重的是，在持續近兩個月的戰鬥中，陳粟大軍戰鬥減員和非戰鬥減員總計高達五萬人，是華東野戰軍組建以來前所未有的損失。
八月六日，毛澤東親自起草了中央軍委電報：
劉鄧，陳粟，並請轉告陳（陳士矩）唐（唐亮）葉（葉飛）陶（陶勇）：
目前整個形勢對我有利，敵已分散，我已集中。敵機動兵力分置於魯中、運東（運河以東）、隴海三處，加以魯西敵新受巨創，士氣不振，我則以一部牽制魯中之敵，主力位於魯西南；敵雖想從運河隴海兩線向魯西南進攻，但估計短時間內尚不可能；敵目前既怕你們全力向東攻邱（邱清泉）歐（歐震），又怕你們全力向南攻隴海。在此情況下，你們全軍可以安全休整十天內外，鼓勵士氣，整頓隊勢，以利爭取新勝利。此次華東各部雖有幾仗未打好，但完成了集中兵力、分散敵人之巨大任務。待陳粟率野直及六縱到鄆（鄆城）巨（巨野），我軍實力更厚，領導更強，對於爭取新勝利極為有利。中央特向你們致慰問之意，並問全軍將士安好。
中央
未（八月）魚（六日）
八月四日，粟裕起草了關於南麻、臨朐戰役的初步總結電報。電報詳細分析了「七月分兵」後，華東野戰軍在戰略戰術上的不足之處；同時強調，對整個反攻局勢和前途過分樂觀的估計是造成失利的重要原因——「……認為敵之重點進攻已被粉碎……在具體部署上亦著重於截斷敵人退路。但敵人並未退竄……七月分兵，失去重點……既無足夠打援部隊，即不能取得充分的攻堅時間……過去九個縱隊集中使用時，每戰只要求殲敵一個整師，與殲其援隊之一部或大部。但此次分兵之後，由於過分樂觀和輕敵所致，仍作殲敵一個師〔南麻〕與對付其援隊之打算，故兵力與要求不相稱，致不能取勝……過去敵人不敢增援，但近來……較前大為積極，其增援隊攻擊甚猛。而我軍之重心則又置於攻堅方面，故南麻臨朐兩役均因援隊逼近而撤回。」陳毅和譚震林看後，都有不同意見，認為在戰略上沒有問題，是「軍事部署上的錯誤與戰術上的不講究」。因為意見不一，粟裕起草的初步總結電報未能發出，他當即另行起草了一封短電發給中央軍委。作為戰役的主要指揮者，粟裕認為自己應對作戰失利負責：
中央軍委並華東局：
自五月下旬以來，時逾兩月，無戰績可言，而南麻臨朐等役均未打好，且遭巨大之消耗，影響戰局甚大。言念如此，五內如焚。此外，除戰略指導及其他原因我應負責外，而戰役組織上當有不少缺點及錯誤，我應負全責，為此請求給予應得之處分。至整個作戰之檢討，俟取得一致意見後再作詳報。
粟
八月四日午時
陳毅為粟裕的自責深感不安，認為作戰不利不能讓一人承擔責任，有必要與譚震林、粟裕坐在一起把這個問題談清楚。
但是，譚震林要率第二、第七縱隊去膠東休整。臨走，譚震林給粟裕留下一封信，他在信中指出「數十萬大軍的指揮，如果不能看遠是很危險的」；同時認為「如果拿五仗未打好的主要原因放在樂觀這點上去檢討是不能把問題徹底弄清的」。
粟裕在給譚震林的回信中，承認軍事指揮和作戰部署上存在錯誤，但他堅持認為「過分樂觀」是作戰失利的主要原因之一：「由於過分樂觀而發生輕敵，由於輕敵而企圖『啃硬核桃』，企圖『一鍋煮』，企圖殲滅十一師後乘勝殲二十五、六十四等師，而與葉陶各縱會師蒙陰。因此部署上就以攻堅為主，而不以打援為主……」在回信的最後，粟裕表示：「一切軍事部署上、戰術指導上的缺點、弱點和錯誤，我應負其全責。今後當遵照你的來信及時地加以改正，並誠懇地接受你對我的幫助……」
野戰軍指揮部轉移到郭店之後，陳毅與粟裕做了徹夜長談。
史料中沒有那夜長談的記錄，但可以肯定，長談盡顯共產黨人知人克己的氣度，這從檔案裡留存的八月六日陳毅發給中央軍委的長電中即可看出：
（一）……最近粟、我共談，粟態度可佩，昨夜長談，對今後共同工作很有好處。
（二）我認為我黨二十多年來創造傑出軍事家並不多。最近粟裕、陳賡等先後脫穎而出，前程遠大，將與彭〔德懷〕、劉〔伯承〕、林〔彪〕並肩邁進，這是我黨與人民的偉大收穫。兩仗未全勝，彼此共同有責，不足為病。譚、我本此觀點，互相研究教訓，粟亦同意……
（三）我本挽三人共談，譚因東行，故譚未參加。譚臨行遺書，此書臨別我看了一遍，對粟有幫助……我們對戰役指導部署歷來由粟負責。過去常勝者為此。最近幾仗，事前我亦無預見，事中亦無匡救，事後應共同負責，故力取教訓以便再戰。軍事上一二失利實難避免，虛心接受必為更大勝利之基礎……
陳毅只有一個目的：領導爬起來。
勝敗交替是戰爭的一般規律。陳毅說：「先打幾個勝仗，又碰了釘子，又打了幾個勝仗」，「我黨二十餘年的歷史也是勝敗的反覆，勝利了便輕敵，種下栽跟頭的因素，失敗又是勝利的因素。領導上主要是在栽跟頭之後，如何領導爬起來」。
三十日，毛澤東給陳毅、粟裕發來了一封絕密電報。電報措辭嚴厲地批評陳粟大軍「在惠民留駐時間太久」，「二十多天毫無積極行動」。而當前國民黨軍各部「均向劉鄧壓迫甚緊，劉鄧有不能在大別山立腳之勢，務望嚴令陳（陳士矩）唐（唐亮）積極殲敵，你們立即渡河並以全力貫注配合劉鄧」。
毛澤東的電報令陳毅和粟裕清晰地理解了此刻關係到戰爭全局的作戰意圖：除留下內線部隊堅持與國民黨軍糾纏之外，華東野戰軍主力要和劉鄧大軍一樣直插中原，攪亂國民黨控制區，完成戰爭的戰略轉變。
華東野戰軍立即於魯西南發動了沙土集戰役。
九月三日，華東野戰軍第一、第三、第四、第六、第八、第十縱與特種兵縱隊以及晉冀魯豫野戰軍第十一縱隊，全部雲集在菏澤以東的沙土集地區。
戰役目標是：圍殲沙土集附近的國民黨軍整編五十七師。
陳粟部的連續失利給國民黨軍造成一個巨大的錯覺，認為山東的共產黨軍隊「已潰不成軍，不堪再戰」，且「南有隴海路，東有津浦路，北面和西面有黃河」，共產黨軍隊已處在「四面被圍，無路可走」的境地。於是，自孟良崮失利以來國民黨軍的謹慎變成了驕狂——「一個團也敢成一路尾追我們。」此時，國民黨軍依舊認為陳粟部在向北逃竄。於是，以整編第五師為中路，整編八十四師為右翼，整編五十七師為左翼，其餘部隊為策應，協同向北追擊。九月五日，整編第五師進至鄆城以南一線，整編八十四師到達巨野附近，整編五十七師六十旅進至鄆城西南一線，其一一七旅位於六十旅的右側。七日，整編五十七師與整編第五師之間拉開了大約二十公里的間隔。
粟裕的部署是：北線第三縱隊，以一部鉗制整編第五師，切斷該師與整編五十七師的聯繫，主力由東北向西南方向攻擊；第六縱隊在第三縱隊右側攻擊，以求夾擊圍殲整編五十七師於新興集以北地區；南線第八縱隊由南向北攻擊沙土集；第四縱隊負責阻擊整編第五師可能的西援，以求徹底割裂整編第五師與整編五十七師的聯繫；晉冀魯豫第十一縱隊對整編六十八師所在的菏澤方向進行警戒；第十縱隊控制鄆城以南陣地，協同第四縱隊阻擊整編第五師。第一縱隊為戰役預備隊。
七日黃昏，攻擊部隊對整編五十七師形成合圍。
八日，總攻開始。沙土集四周地勢平坦開闊，攻擊部隊沒有任何掩護，官兵們冒著敵人的炮火衝擊前進。這是沒有懸念的一戰。華東野戰軍的攻擊兵力至少大於整編五十七師四倍以上。夜幕降臨時，三縱從北面破寨。接著，八縱從東南方向、六縱從西北角相繼突入。三個縱隊的猛烈攻擊致使守敵迅速壓縮，整編五十七師中將師長段霖茂率百人衛隊化裝突圍，剛一出村便成為俘虜。凌晨三時，守軍因無心再戰紛紛投降。
沙土集一戰，殲滅國民黨軍整編五十七師師部和兩個旅共九千五百餘人，其中俘虜七千五百餘人。華東野戰軍攻擊部隊傷亡和失蹤兩千三百人。戰後，國民黨方面檢討道：「本作戰，國軍在各戰場抽調兵力，逐次投入魯西南地區……但因協調聯絡不足，多次形成孤立，遭匪襲擊，整五十七師更因友軍救援不及，在沙土集覆沒。」
沙土集戰鬥結束三天之後，毛澤東致電陳毅、粟裕：「鄆城、沙土集殲滅五十七師全部之大勝利，對於整個南線戰局之發展有極大意義，特向西兵團全軍將士致慶賀與慰問之忱。」
沙土集一戰改變了陳毅、粟裕部的被動局面，迫使國民黨軍從山東內線戰場和劉鄧大軍周圍抽調回四個整編師。此後，在中國遼闊的中原地帶，一個影響到整個戰爭進程的新局面產生了。