南線局勢依舊不樂觀。
問題的核心還是大別山。
大別山位居中原，中原地跨河南、湖北、江蘇、安徽、陝西五省，平漢、津浦與隴海鐵路貫穿其間，對於全國戰場而言，中原的戰略地位異常重要。
劉鄧大軍進入大別山後，立即遭到白崇禧的大軍圍攻。歷來與蔣介石矛盾重重的白崇禧，這次執行蔣介石的命令異常堅決，因為華中地區是他的老巢。白崇禧動用了三十萬兵力，攻擊的勢頭十分猛烈，隨著包圍圈逐漸壓縮，劉鄧大軍面臨著嚴峻的局面。
這是一個巨大的矛盾：千里突進敵人據守的戰略要害地域，是典型的外線作戰，其目的是盡可能大量地吸引國民黨軍主力，以利全國其他戰場的戰局；但是，從劉鄧大軍所處的局部上講，面臨的又是新的內線作戰，因為必須在強大的攻擊下生存下去，否則建立和鞏固根據地無從談起。令劉鄧和他們的官兵們痛苦的是，生存下去的唯一的辦法不是作戰而是避戰，因為無論從兵力還是裝備上講，他們都無法與合圍而來的國民黨軍抗衡。
在大別山裡到處轉戰的日子危機四伏。
為了不至於陷入國民黨軍的合圍，重要的軍用裝備就地掩埋，輕裝下來的東西都給了老百姓。劉伯承和鄧小平決定把指揮機關分成前方、後方兩個指揮部：鄧小平與野戰軍指揮部副司令員李先念、參謀長李達帶領第二、第三、第六縱隊在大山裡與國民黨軍兜圈子；劉伯承與野戰軍指揮部政治部主任張際春帶領第一縱隊爭取跳到包圍圈外面去，擾亂國民黨軍的進攻陣形。
雨雪交加的黃昏，劉伯承與鄧小平在大梧黃站附近分手。
考慮到前程莫測，劉伯承對身邊的人說：「如果我們北上受阻，不幸被敵人衝散，大家就原路向南集中，到文殊寺去找鄧政委。」
部隊走了沒幾天，就被國民黨軍追上了。一縱二十旅五十九團偵察參謀吳晨給旅長吳忠送來兩個俘虜。俘虜說他們是整編十一師搜索連的，任務是偵察設營。吳忠看到俘虜身上的設營地圖時，嚇了一跳：整編十一師的設營地，正是劉伯承準備宿營的小寨村！「我帶了一輩子兵，打過無數次仗，從沒怕過，可那一刻，我真正是怕了。」吳忠立即派旅作戰科長陳雷去向劉伯承報告。可陳雷一會兒就回來了，說沒有找到劉司令員。縱隊司令員楊勇急了，派參謀處長李覺再去找：「一定要找到！背也要把老先生給我背出來！」過了一會兒，楊勇得到報告說，找到了，劉司令員在六十二團。
跟隨六十二團行軍的劉伯承太累了，一進小寨村，警衛員還沒給他準備好房子，他就躺在一間滿是稻草的房間裡睡著了。機關剛架好電話，偵察員報告說，這一帶發現了敵人。接著，一位當地的老人也湊過來說，你們怎麼能住在這兒？周圍全是國民黨兵。這個寨子四邊都是水，只有進寨的一座橋，昨天下午國民黨兵還來看過，看完就走了。這時，遠處有零星的槍聲傳來，軍政處長楊國宇把劉伯承推醒，劉伯承無論如何也不相信，他問那位老人，你怎麼知道是國民黨軍隊的？老人說，你們的部隊不帶鋸子和斧子，不砍我們的樹。國民黨軍走到哪都帶著鋸子和斧子，在村邊挖大坑，然後把砍下的樹搭在大坑上。劉伯承知道這是在修工事，他再問老人，他們穿的什麼衣服？老人說，比你們整齊，是黃的。楊國宇催促劉伯承快走，劉伯承叫來作戰參謀王文禎，讓他去找二十旅旅長吳忠。王參謀按照地圖去找，結果闖進國民黨軍的一個團部，機警的他撒腿就跑。王文禎還沒有回來，四周的槍聲已密集起來，劉伯承上了馬。
軍政處長楊國宇回憶：
劉給了我一個大指針說：一百八十度。我說沒有橋。他不管，還說朝一百八十度走。結果硬是朝一百八十度走到河岸，又轉來朝二百七十度過橋，又不走了。問：張際春在哪裡？李雪峰在哪裡？還有什麼二局到了沒有，他們知不知道在哪裡集合。我一一做了回答。說軍政處的參謀全派出了，接引他們到集合點。快走吧！這時已聽遠處有機槍聲，但不激烈。但我們到集合點時，二局、通信、區黨委的、政治部的都比我們先到集合點。真快！……我們剛集合好，向南行時，飛機來了。在我們上空，因為濃霧籠罩著，什麼也看不見。劉在馬背上對我們說：天助我也！天助我也！並說西遊記的作戰思想確有獨到之處，每當走到絕路之時，就是騰雲駕霧……走了不到十里，劉突然找我問：鄧政委現在在哪裡？天呀，只有馬克思知道。
白崇禧的大軍已佔領大別山區的所有縣城和重要村寨，但始終沒有追上劉鄧部主力，於是對這一帶採取了更為嚴厲的封鎖策略。劉鄧部長期處在敵人的追擊中，官兵日日都在輾轉跑路，得不到休整和補充，戰鬥力與供給都面臨巨大考驗。六縱十七旅旅長李德生後來回憶說：
敵七師、四十八師是桂系精銳，善於山地作戰，在大別山地區長期盤踞，各地都建有諜報網，反動勢力盤根錯節，他們用殘酷的手段脅迫群眾空捨清野，使我軍吃不上飯，找不到嚮導，給我們的生存立足帶來嚴重困難。敵人幾倍於我，緊追不捨，企圖扭我作戰……部隊每到天黑就行動，走到凌晨兩三點宿營。由於敵人也在山裡亂竄，常常不期而遇。有時飯還沒煮好，發現敵情，就將沒煮好的米帶上又走……有一次一夜走了一百五六十里。由於淨走山路，草鞋穿上半天就磨穿一雙，打草鞋來不及，戰士們就用破布包在腳上走，更多的戰士是打赤腳行軍……我十幾萬大軍，千里躍進，深入敵人縱深地區，遠離後方依托，所遇到的困難，非身歷其境，是難以想像的……痢疾、瘧疾流行，造成大量減員；陰雨連綿，道路泥濘，山高路窄，重炮和大車都不便行動；山地、水網作戰，大家沒有經驗；因無安全後方，傷員難以安置，成了指揮員打仗最大的顧慮……
一九四八年二月七日，中央軍委致電劉伯承、鄧小平：
劉鄧：
你們指揮所現在何處？如果尚在大別山，似宜移至淮河、隴海、沙河、伏牛山之間，指揮你們三個縱隊、陳（陳士矩）唐（唐亮）四個縱隊、陳（陳賡）謝（謝富治）一個半縱隊，共八個半縱隊，在淮河、漢水、隴海、津浦之間集中，機動打中等的及大的殲滅戰。這是因為：（一）粟裕準備機動；（二）你們準備派兩部機動；（三）將敵人主力吸引至淮河、漢水以北，利於粟等機動，並利於大別山、江漢等地放手發展；（四）北面缺乏指揮中心；（五）北面有鞏固後方，可為依托，利於打殲滅戰；（六）必須打殲滅戰才能解決問題。以上望統籌見復……又你們三萬五千新兵，似宜分作兩批補充各縱，頭一批補充二萬至二萬五千，留下一萬至一萬五千，幾個月後在殲滅戰中補充那些損失較大的部隊，因為今年再無新兵。
軍委
丑（二月）虞（七日）
這是中央軍委第一次要求劉鄧大軍從大別山區轉移出來。
「現在南線最要緊的戰場是大別山，該區是否能站住腳的問題，尚未解決。」毛澤東認為，戰爭發展到這一階段，不打大的殲滅戰，是不能解決中原問題的；而要打大的殲滅戰，劉鄧、陳粟、陳謝三軍必須協力。劉伯承和鄧小平都贊成將部隊移出大別山：「我野戰部隊在大別山內，一時很難打到好仗，輾轉消耗亦不合算，集中做寬大機動，並利於粟的行動，實屬必要。」
二月二十四日，鄧小平率前方指揮部北渡淮河，在安徽臨泉縣南部的韋寨與劉伯承率領的後方指揮部會合。四月初，他們開始一路向西，至五月下旬，移動到河南中部的寶豐縣境內。與此同時，二月二十八日，陳再道率第二縱到達河南新蔡以南的謝家集；三月二十七日，陳錫聯的第三縱隊九旅和王近山的第六縱隊渡過淮河到達安徽阜南一帶；二十八日，第三縱隊司令部和七旅、八旅進至安徽西北部與河南交界處的雙碑湖地域。
至此，劉鄧大軍主力全部轉出大別山區。
劉鄧大軍千里躍進大別山，一舉突入國民黨統治區縱深，使解放戰爭由戰略防禦轉入戰略進攻。他們拖著國民黨軍輾轉作戰，部隊付出了巨大的代價。一九四七年八月，大軍南渡黃河時，全軍轄第一、第二、第三、第六縱隊，總兵力十二萬四千餘人。七個月後，一九四八年三月，部隊轉出大別山時，野戰軍直屬隊減員四千四百三十二人，第一縱隊減員一萬六千三百一十五人，第二縱隊減員一萬八千五百八十二人，第三縱隊減員一萬三千二百六十人，第六縱隊減員一萬二千三百零六人，總兵力僅剩五萬八千六百人。
劉鄧部主力順利轉出大別山，這令蔣介石十分惱怒，他認為幾十萬部隊追擊合圍，即使不把劉鄧部全殲，至少關在大別山裡餓死凍死是可以做到的。蔣介石立即命令胡璉兵團（整編第十八軍）一部自豫中的漯河向東壓縮，對休整中的劉鄧部主力進行襲擾；同時命令張軫兵團（轄整編十、二十、五十八師）配屬整編四十八師進駐豫東南的固始、潢川一線，控制淮河，切斷劉鄧部主力與大別山區的聯繫。
為了掩護劉鄧部休整，中央軍委命令華東野戰軍陳士矩、唐亮的部隊以及陳賡、謝富治的部隊採取行動：「目前兩星期內你們的任務是鉗制十一師及其他平漢鄭信（鄭州至信陽）段之敵，使其不能威脅劉鄧主力在沙（沙河）、淮（淮河）間集結及補上新兵。」
此時，彭德懷指揮西北野戰軍正在攻擊宜川、洛川等地，山西的徐向前指揮晉冀魯豫部隊正在圍攻臨汾城，胡宗南為確保西北地區的大本營西安，令駐守在洛陽至潼關線上的主力部隊自新安、宜陽、洛寧、陝縣、靈寶地區全部回縮，除以一部駐守河南與陝西交界處的潼關外，大部隊全部撤回西安外圍一線。於是，在鄭州至潼關之間，四百多公里的地段上，只剩下了駐守洛陽的孤軍——青年軍二六師。
陳士矩、唐亮、陳賡、謝富治提出攻打洛陽。
三月七日，中央軍委一天之內連續致電陳士矩、唐亮、陳賡、謝富治。第一封七日凌晨二時到：
你們率三、四、八縱應以奪取洛陽並準備殲滅孫元良（整編第四十七軍）援兵之目的，迅速對洛陽及洛鄭線（隴海線上的洛陽至鄭州段）發起攻擊，希望能於兩周內外完成此項任務。
第二封七日午夜二十四時到：
洛陽這樣的重要城市，顧祝同決不會不增援。你們佔領黑石關、偃師、新安後，應以一部攻擊洛陽，吸引敵人來援，集中全力殲滅援敵，重點放在打援上面。敵援兵可能主要是孫元良，十一師亦可能來一部。請劉、鄧令十一縱速向十一師佯攻以鉗制之。
中原重鎮洛陽位於黃河中游，北依邙山，南近洛水，地扼陝西、山西、河南三省要衝。國共雙方都知道這座城市對中原戰局的影響。對於共產黨人來講，奪取了洛陽，就意味著在國民黨軍中原戰線上撕開了缺口，以切斷國民黨軍中原與西北兩個戰場間的聯繫。同時，奪取了洛陽，還能把中原解放區與山西解放區連在一起，使中原戰場有更為廣闊和深遠的後方依托。而對於國民黨軍來講，洛陽是連接鄭州與西安的樞紐，樞紐一旦失去，中原和西北兩個戰場都將陷於孤立，兩個戰場如需相互增援就要繞行秦嶺，如此一來不但中原被動，西北也將陷入危境。
青年軍二六師，洛陽國民黨守軍主力，配屬有陸軍總司令部鄭州指揮部的榴彈炮連、戰防炮連、野戰炮連和重迫擊炮連，加上地方武裝，總兵力約兩萬餘人，總指揮為青年軍二六師師長邱行湘。所謂「青年軍」，是蔣經國根據蔣介石「一寸山河一寸血，十萬青年十萬軍」的口號，在抗日戰爭期間動員知識青年參軍組建的幾個師。蔣經國組建青年軍的目的，一方面是國民黨軍擴軍的需要，另一方面是要與共產黨爭奪青年，因為當時許多中國青年紛紛跑到延安去了。蔣氏父子試圖把青年軍辦成培訓幹部的學校，青年軍各師師長均由蔣介石親自挑選。二六師是內戰爆發後在洛陽新組建的，官兵大部分是從中原各城市招來的青年學生，嫡系將領邱行湘被蔣介石任命為師長。
邱行湘，黃埔第五期畢業生，在校期間，校長蔣介石曾訊問：「你來黃埔是為什麼？」邱行湘答：「革命，革命，還是革命！」蔣介石讚賞道：「邱行湘是黃埔的模範生，日後定是模範將領。」他曾給參謀總長陳誠當副官處長，率部駐守洛陽前是第九十四軍五師師長，在國民黨軍中以作戰凶悍著稱。當時，二六師只有三個團，邱行湘到任後，從鄭州、開封、許昌等地又招了三千多名青年學生，將部隊擴充為六個團。他效仿共產黨軍隊的做法，在全師上下進行連隊評比以勵鬥志，還辦了本名為《革命青年》的師刊。
蔣介石用專機將邱行湘接到南京談話，著重強調了「軍事的成敗，關係到黨國的安危。如果不打敗共產黨，我們都將死無葬身之地」。當聽邱行湘說洛陽沒有警備司令部時，蔣介石當即寫了張字條加封邱行湘為「洛陽警備司令」。蔣經國也在南京親自宴請了邱行湘，並表示「裝備方面，你可以與愚兄我經常聯繫」。返回洛陽時，邱行湘說他準備為黨國「鞠躬盡瘁，死而後已」。
邱行湘知道「洛陽的安危關係整個戰局的成敗」，但是自己兵力有限，學生兵又吃不得苦受不得累，這樣的部隊實在不適合打野戰；而優勢則是學生兵政治性強，不會輕易繳槍投降，可以依靠堅固工事頑強堅守。因此，邱行湘放棄了洛陽外圍邙山、龍門等險要陣地，決定在城內修築火力覆蓋周密的城防體系，讓每一處地方皆成為能夠獨立作戰的「小而堅」的據點，讓洛陽全城堡壘化。邱行湘認真勘察了洛陽城的地形後，請大學土木工程系畢業的新聞處長賴鐘聲繪製圖紙，然後開始了大規模的城防建設。他的第一道防線是城邊的九龍台、潞澤會館、大王廟、發電廠、周公廟和火車站一線。在這條防禦線上，邱行湘修築了一系列即能獨立作戰又能相互支援的堡壘，堡壘的周邊是犬牙交錯的壕溝和鐵絲網，主要功能是護衛城牆，保衛城門。第二道防線是守備城垣，在城牆上下、甕城內外，邱行湘修築了無數明碉暗堡，射擊孔密如蜂窩，構成的立體火力網可以阻攔來自任何方向的攻擊。第三道防線是核心陣地，以洛陽中學為中心，除了更為堅固的碉堡之外，還修築了一個水泥鋼筋的大隱蔽部作為指揮所。邱行湘把每一個重要據點都設計成三層：上層俯瞰射擊；中層與地面齊平射擊；下層則在地下，專門對付攻擊方的架梯手、爆破手和挖坑道者。他還下令拆毀城牆外的一千五百多間民房，以防這些民房被作為進攻掩體。滿城百姓哭跪，邱行湘說：「事關洛陽的存亡，顧不得那許多了。」他下令將存放在鄭州的彈藥全部搬運到洛陽，並把二六師的軍官家屬也從鄭州統統搬遷到洛陽，以此斷絕軍官們臨陣脫逃的後路。
該做的事全做完後，邱行湘親筆寫下「固若金湯」四個大字，懸掛在洛陽東城門的正中央。
蔣介石的指令是：「固守一個月。」
二六師副師長趙雲飛憂心忡忡，以為洛陽防禦線過長，四周防域面積過大，六個團的兵力實在難以堅守。邱行湘說：「我知道守不住。但是，我們必須盡力而為，戰鬥到最後時刻。」邱行湘認為，只要洛陽能堅持一段時日，鄭州、西安、許昌方向的援軍便會大規模到達，那時候如果共產黨軍隊還不撤，洛陽地域將成為兩軍決戰的戰場。
果然，二月底，當發現共產黨軍隊有「進犯洛陽的企圖」後，蔣介石除命令二六師「固守洛陽既設陣地，協同外圍兵團聚殲來犯之敵」外，同時命令駐守在駐馬店一帶的胡璉兵團向許昌集結，命令已從鄭州南下的孫元良兵團回撤鄭州集結，兩軍統歸陸軍總司令部鄭州指揮部主任孫震指揮，以「確保洛陽」。
陳賡、陳士矩擔心的是久攻不下：部隊缺乏攻堅大城市的經驗；攻城打援的老辦法已被國民黨軍熟知；小部隊佯攻洛陽敵人會不為所動，而我久攻不下將給敵人增援的時間；大規模的援軍一旦到達，我軍打援是否能得手很難預料。如果要避免攻城失利又打援不成的局面，唯一的辦法就是趁敵還未形成增援態勢的時候，迅速攻下洛陽。陳賡、陳士矩決定投入優勢兵力攻城，力爭三至五天解決戰鬥。因為胡宗南的部隊已經西去，無力東顧；孫元良兵團固守鄭州，雖然靠洛陽很近，但因不是蔣介石的嫡系部隊，且孫元良一向只求保存實力，所以估計不會孤軍出動積極增援。在這種情形下，一旦洛陽戰役打響，蔣介石只能調動他的嫡系胡璉自漯河北上增援。胡璉兵團是國民黨軍在中原戰場的重要機動部隊，但是他要麼途經鄭州與孫元良兵團一起西進增援，要麼孤軍自臨汝、登封沿道路崎嶇、易遭伏擊的小路直驅洛陽，而無論胡璉兵團如何行動，以最快的速度到達洛陽至少也要五天時間。
中央軍委命令，洛陽戰役由陳士矩和唐亮統一指揮實施。
三月七日，陳士矩、唐亮發佈洛陽戰役作戰部署：華東野戰軍「第三縱隊應於九日二十四時前完成對洛陽車站、北關、東關之敵的包圍，力求首先解決洛陽北站和東關之敵，以便主力迫近攻城」；晉冀魯豫野戰軍第四縱隊和華東野戰軍第三縱隊主力於「九日二十四時前完成對洛陽西宮及飛機場及西關、南關之敵的包圍，應首先切斷西宮與洛陽城之間聯繫，或首先解決西宮及西關之敵，使其不能退縮城內」；華東野戰軍第八縱隊「除以一部奪取並控制黑石關至偃師之間的兩側陣地之外」，主力於八日黃昏前進至郭鎮、堤東、府店鎮一帶作預備隊，「負責阻擊可能由鄭州西援洛陽之敵」；晉冀魯豫野戰軍第九縱隊一部攻佔新安、宜陽一帶，監視潼關方向的敵情。部署規定：「十日開始攻擊，力求於十二日午前解決全部戰鬥。」
九日黃昏，華東野戰軍第三縱隊強渡伊河、洛河，在一五榴彈炮和八五山炮的掩護下逼近洛陽城。入夜，三縱八師二十三團偷襲城關東，九師同時攻擊北關方向的東西車站。三縱在佔領西車站後，繼續突進，在九龍台據點受到挫折。九龍台是洛陽城東北的一個土檯子，頂部面積不過一百多平方米。傳說在洛陽建都史上，九個皇帝曾到上面遊玩，土檯子因此得名。八師對九龍台發起連續衝擊失利後，決定監視這裡的守軍，集中主力攻擊東門。陳謝集團第四縱攻擊周公廟和發電廠時也不順利。周公廟是袋形雙層工事，是邱行湘發明的「小而堅」的典型堡壘，由於這裡是攻擊西門的必經之路，因此國民黨守軍達一個團之多。四縱十旅三十團在攻擊路線上遭到來自地面堡壘和地下暗堡的猛烈阻擊，沒有任何隱蔽物可以利用，即使付出了巨大犧牲衝進碉堡群，也如同進入迷魂陣一般，正不知何處可進可退，攻擊部隊的官兵大多被火力射殺。發電廠是洛陽城防體系中最複雜的外圍防禦陣地，四縱十一旅多次攻擊未能得手，也決定改為監視，然後集中主力攻擊西關和南關。佔領兩關之後，十旅回頭再打周公廟，官兵搭起人梯攀上壕壁，連續爆破，工兵排除了所有的地雷，山炮摧毀了兩個最大的堡壘，周公廟守軍終於支持不住，千餘名官兵繳槍投降。至此，洛陽城的第一道防線除幾個堅固據點之外，大多數堡壘基本肅清，洛陽城外與城內的聯繫已被切斷。
邱行湘不斷致電蔣介石，號稱洛陽守軍「士氣旺盛，連挫凶鋒，斬獲甚眾」。
蔣介石嚴令孫元良和胡璉晝夜兼程馳援洛陽。
陳賡鑒於未掃除的外圍據點會威脅攻城部隊的側後，建議將攻城時間推遲一天。陳士矩不同意，因為國民黨援軍已在急進洛陽的路上。陳賡不再堅持。陳士矩、唐亮決定十一日開始攻城：三縱八師二十三、二十四團攻東門，二十五團攻北門，四縱十旅攻西門，十一旅攻南門。炮火準備於黃昏十七時開始。
十一日黃昏，三十多門火炮的炮火開始了。早有準備的邱行湘立即命令炮火反擊，洛陽城內外頓時成為炮戰戰場。國民黨守軍炮火猛烈，且有位置極佳的炮兵觀察所，因此攻擊部隊的炮兵陣地很快就受到猛烈轟擊。但是，攻擊的炮兵也測出了國民黨守軍炮兵陣地的位置，轟擊的準確度逐漸提高，不但壓制了守軍的反擊炮火，還把各個城門前的防禦碉堡轟掉不少。
炮火準備之後，雷聲滾滾而來，天地間一片昏暗，洛陽城的四個城門同時受到了猛烈的攻擊。攻擊西門的四縱十旅處境困難，因為他們身後還有沒被佔領的發電廠據點。山炮運不上來，只能用輕武器掩護爆破組對城牆實施爆破。但是西門的外壕又寬又深，只有一條通道可以接近城門，通道被國民黨守軍的火力嚴密封鎖，致使爆破小組的接近多次受阻。陳賡下決心先將發電廠據點拔除。半夜，發電廠終於被攻佔，山炮開始上運，但大雨傾盆，道路泥濘，牲口無法使用，人力推炮十分艱難，直到天亮，才把山炮推到西關。
擔任東門主攻第一梯隊的是三縱八師二十三團。二十三團決定以一營為突擊隊，二營、三營繼後。八師把山炮、戰防炮、步兵炮、迫擊炮、六炮組成兩個火力隊，為一營提供火力掩護和火力支援。一營把作戰方案報了上來：一連突破，二連為第二梯隊，三連為預備隊。團長石一宸和政治委員王良恩對這個方案不滿意，說這個方案打小縣城和土圍子還可以，現在咱們打的是防守堅固的大城市洛陽。營長張明感到了壓力，他不斷觀察地形，與官兵們反覆討論。一營的一個年紀很小的理發員很想為戰鬥做點什麼，他到老百姓中間搞了個調查，竟然畫出一張東門敵情圖，圖上畫滿了各種奇怪的符號，甚至還畫著一條死去的狗。這張圖被送到營指揮所，把張明營長看糊塗了，他找來小理發員詢問，小理發員解釋說，長線條是外壕，上面的短線是橋，老百姓說上面有座橋可以過去。橋頭的圓圈是百姓們說的「大墳包」，可能就是敵人的暗堡。張明營長特意問到那條狗，小理發員說，百姓們說前幾天有條狗跑上去莫名其妙地死了，估計是碰上了電網。張明最後的計劃是：三連負責爆破火力點和鐵絲網等障礙，一連攻擊城門，二連攻擊甕城。這一次，團長同意了他們的攻城計劃。突擊開始後，張明帶領二連向前運動。爆破員馬景春在彈雨中掄著纏著絕緣膠帶的大鍘刀猛砍電網，連續破開了三條通道，後面的爆破員抱著炸藥包撲上去，炸毀十三道障礙物和數座碉堡後，二連接近了甕城。大雨傾盆，天地漆黑。二連偵察員回來了，說小理發員畫的那座橋果然在。張明立即命令二連發起攻擊。命令剛一出口，一顆子彈擊中了他的後背，鮮血頓時染紅了軍衣。二連迅速通過小橋，在炮火和機槍的掩護下，十三名爆破隊員前仆後繼連續爆破，終於把城門炸開一道三米寬的口子。排長宋蒼富率第一突擊組衝向缺口。已經負傷的張明趴在衝擊陣地上，他知道必須迅速突破東門，強佔城樓，準備迎擊國民黨守軍的反擊，如果動作稍慢，部隊很可能被壓制回去。他果斷地命令預備隊投入戰鬥，與二連一起撲向第二道城門。即使在大雨中，敵人的炮火仍舊十分猛烈。一個爆破隊員在衝擊的時候，懷裡的大炸藥包被鐵絲網意外地拉響。後續的爆破隊員拚死向前運動，把四個大炸藥包放在了城門下，一聲巨響之後，東門的第二道城門被炸開了。副連長沙培琛和七班副班長陳福才率先衝進城門，投彈組和爬城隊跟了上來，東門的城樓終於被佔領。凌晨四十分，陳士矩在指揮部接到三縱的報告：「張明這個營攻得好，東門已被炸開突破了！已佔領城樓，城裡電燈還亮著呢！」但是，敵人的炮火越來越猛烈，後續部隊受到火力壓制，無法及時跟進，張明的一營只控制著城樓左右百十米的陣地。
這個時候，邱行湘犯了一個致命的錯誤：除了命令炮火封鎖被突破的東門之外，他並沒有組織預備隊進行大規模反擊以及時封堵城牆防禦線上的突破口。漆黑的雨夜中，洛陽四面的城門同時受到攻擊，邱行湘無從判斷哪個方向最危急。更嚴重的是，平時表決心很有一套的青年軍此時陷入了極度的驚恐之中，學生兵紛紛偷偷逃跑躲進城中的民房裡，邱行湘已無法有效地指揮他的部隊。
堅持在東門的一營終於迎來了大部隊。
十二日凌晨，三縱二十四團跟隨二十三團突進城內；二十二團和二十一團奉命暫時停止在東北方向的攻擊，迅速轉至東門戰場跟隨二十四團突入；隨後，二十五團和二十七團也從東門衝進城。至此，攻入洛陽城內的部隊已達六個團。在西門和南門攻擊的陳謝集團四縱午夜再次發動攻擊。洛陽城的東門距離南門很近，攻入城內的華東野戰軍三縱二十三團轉向南門，從裡面打，四縱的部隊從外面打，十二日下午，南門被突破。接著，擔任突擊隊的十旅二十八團二營五連，在彈藥消耗殆盡的情況下衝開了西門。
戰後，突破東門的華東野戰軍三縱八師二十三團一營被授予「洛陽營」的光榮稱號，營長張明被評為「甲等戰鬥英雄」。突破西門的晉冀魯豫野戰軍四縱十旅二十八團二營五連被授予「洛陽英雄連」稱號。
十二日黃昏，「固若金湯」的洛陽城四門已全被突破。
蔣介石給邱行湘發來電報：「已飭外圍兵團兼程馳援，希激勵三軍，堅守陣地。」邱行湘遂帶領殘部五千餘人退守核心陣地，他希望自己創造第二個「四平街奇跡」：戰至一兵一卒，等待援軍到來。
大雨越下越猛。
十三日晚，對核心陣地的攻擊開始。國民黨守軍依托有利地形和堅固工事，火力之猛，特別是重武器火力之密集，出乎攻城部隊的預料。三縱和四縱連續發動進攻，各部隊都受到猛烈阻擊。十四日，戰場局勢複雜起來。儘管孫震曾反覆陳述增援的困難：「我四十七軍自三十八師臨時奉命西調後，僅有四個團的兵力，黑石山守備至少需一個團，尚餘三個團，實無力出擊；十八軍因連日大雨，道路泥濘，十一日由許昌到禹縣，已行九十里，十二日可抵登封附近。至速須十三日可到府店鎮附近，與孫軍會合，發生策應作用。」但是，蔣介石嚴令必須不惜一切增援洛陽，甚至命令整編三十八師停止西調，歸孫元良兵團指揮，「與胡兵團並肩向洛陽急進」。孫震只好一面命孫元良的部隊快速增援，一面命胡璉的整編第十八軍由登封附近躍進洛陽。
陳士矩決定十四日下午對洛陽城內的核心陣地做最後一擊。
這是最後的時刻，也是最後的機會，如果攻擊失利只能撤軍，否則，時間拖延下去等來的只能是敵人大隊援軍到達戰場。
邱行湘將青天白日旗高高地懸掛在核心陣地大樓的樓頂，以示堅守到底的決心——「連日陰雨，氣候惡劣，飛機很少活動，援軍更無消息。但我自恃工事堅固，糧彈充足，士氣旺盛，解放軍即使付出兩千人的代價，也不一定拿得下我們的核心陣地，而久攻不下，勢將撤退。我認為只要守住核心陣地，就可以打出第二個四平街來。」
攻擊部隊把所有的火炮集中起來，包括剛剛從外圍陣地繳獲的火炮，不下達轟擊目標，不規定發彈數量，只是命令「各炮急促射擊一小時」。邱行湘的核心陣地，是一個不足兩百平方米的正方形小圩子，南北兩面排列著五座樓房，四周是高大的圍牆和深壕。邱行湘登上樓房觀察，發現共產黨官兵正在搶運城裡的物資，汽車、大車與大量的官兵和百姓滿街走來走去，像搬家一樣，其陣勢如同要把整個洛陽城搬走。除此之外，一切寂靜，這種寂靜令他害怕，他正準備看看共產黨軍隊是否在挖地道，炮聲響了。猛烈的炮火持續了兩個小時，萬餘發炮彈打到不足兩百平方米的圩子裡，工事炸塌，碉堡炸飛，樓房點燃。邱行湘的頭部被彈片擊中受傷，身邊的四團團長朱驅被當場炸死。狹窄的小圩子裡面擁擠著近五千人，在炮火的打擊下血肉橫飛，呼喊慘烈，整個核心陣地成為一片火海。
三縱八師和四縱十旅從兩個方向向核心陣地突擊。
一個小時的激戰後，核心陣地成為廢墟，守軍全部被殲。
在洛陽守軍即將覆滅的時候，一架小型飛機飛臨洛陽上空，這是蔣介石派來的，想把邱行湘師長接走，但是整個洛陽火光沖天，濃煙蔽日，飛機根本無法降落，盤旋了一會兒飛走了。
四縱十旅二十八團十連的官兵衝進一座樓房，裡面還活著的國民黨官兵都舉起了雙手。官兵們問：「師長在哪裡？」其中一個軍官說：「這裡沒有師長，我是參謀長符紹基。」十二連官兵在一個暗堡裡俘虜了五十多人，又在一座樓房裡俘虜了八十多人，集合俘虜的時候，其中一個頭戴士兵帽的俘虜突然逃跑，立即被十二連指導員按倒在地，這就是青年軍二六師赫赫有名師長邱行湘。
一九四八年三月十五日，國民黨中央通訊社播發消息：「國軍堅守核心陣地，寸土必爭，屢建功勳。現我國軍勁旅已進抵洛陽，共匪處於內攻失利，外受包圍，有被殲之命運矣！」
國民黨中央通訊社播發這條消息的時候，邱行湘已被押送到四縱十旅的司令部裡。陳賡把手裡邱行湘的照片與當面的這個人對照了之後，說：「你是邱行湘吧，黃埔五期的？我是陳賡。」
邱行湘說：「久仰，久仰。」
陳賡說：「你是哪裡人？」
邱行湘說：「江蘇溧陽。」
陳賡說：「那裡是我們新四軍的老根據地。」
邱行湘說：「是的。我家是貧農，陳毅將軍在我家住過，你問陳毅將軍就知道了。」
陳賡說：「你的家庭成分倒還不錯，可惜你是為大地主大資產階級服務。」
陳賡對二六師的那些死去的學生兵感到非常惋惜：「這次戰鬥，你們打得很苦，死傷很重。我們本來不需要使用這樣大量的炮火，但你們固執不放下武器，而我們又想早點解決戰鬥，想使洛陽人民早點過安定的生活，所以不得不把這樣猛烈的炮火加在你們身上。現在你們大概體驗到了，你們工事做得再好，也無法阻擋解放軍的進攻。」
南京很快獲悉洛陽失陷，立即宣佈邱行湘「殉國」，並準備給他開「忠烈追悼會」。此時，邱行湘正在被送往太岳解放區的途中，他在路上給家人寫信說：「舊的邱行湘已經死去。」
增援的國民黨軍到達洛陽城郊的伊河和洛河。連日大雨，河水暴漲，渡河器材沒有著落，一整夜沒能渡過一兵一卒。胡璉打了工兵團長一個耳光，但架橋速度依舊緩慢。十七日，胡璉的整編十一師和整編三十八師終於到達洛陽。
華東野戰軍和晉冀魯豫野戰軍作戰部隊已撤至洛陽以西休整待命。
洛陽已是一座空城。
洛陽的城防工事完全被毀，共產黨軍隊就在洛陽城外，兵力少了守不住多了又拿不出。此時，平漢路和隴海路東段都很吃緊，三月底，胡璉的部隊又被調回駐馬店，洛陽只剩下了整編三十八師的一二四旅。四月三日，一二四旅主力開往偃師，洛陽城內只剩下三七一團和一個保安團。
陳賡決定再打洛陽。
這次打洛陽，陳賡決心永久佔領這座中原重鎮。
四日，攻擊開始，洛陽守軍跑得漫山遍野。至五日十一時，殲滅國民黨守軍四千六百餘人。
洛陽之戰，是轉入戰略進攻以來，共產黨人在南線戰場奪取的第一座城市。
為了攻佔這座城市，六千多名官兵付出了年輕的生命。
為了永久佔領這個城市，四月八日，毛澤東為中共中央起草了《再克洛陽後給洛陽前線指揮部的電報》，提出共產黨人管理好新解放的城市的具體政策。電報說：「極謹慎地清理國民黨統治機構，只逮捕其中主要反動分子，不要牽連太廣」；「對於官僚資本要有明確界限，不要將國民黨人經營的工商業都叫做官僚子資本而加以沒收……一切民族資產階級經營的企業，嚴禁侵犯」；「嚴禁農民團體進城捉拿和鬥爭地主。對於土地在鄉村家在城裡的地主，由民主市政府依法處理」；「一切作長期打算。嚴禁破壞任何公私生產資料和浪費生活資料，禁止大吃大喝」，「城市已經屬於人民，一切應該以城市由人民自己負責管理的精神為出發點。如果應用對待國民黨管理的城市的政策和策略，來對待人民自己管理的城市，那就是完全錯誤的。」這封電報同時發給了其他戰區的領導，因為這些政策不但適用於洛陽，「也基本上適用於一切新解放的城市」。
中共中央任命的市委書記和市長上任，洛陽這座古城開始了新的歷史。
此時，中共中央作出了一個影響未來解放戰爭進程的重大決定：再建中原軍區和組建中原野戰軍。
劉鄧大軍轉出大別山，與陳粟大軍、陳謝集團齊聚中原，準備在平漢路以西、漢水以北、隴海路鄭州至潼關段以南的廣大地區機動作戰，如何統一指揮三軍的問題隨之顯露出來。
五月九日，中共中央發出《華北、中原兩解放區的轄區和人選》的通知。其中關於中原區的領導任命如下：
（一）除華中解放區現轄境地外，凡隴海以南長江以北直至川陝邊區均屬中原解放區。（二）中原中央局以鄧小平為第一書記，陳毅為第二書記，鄧子恢為第三書記。以劉伯承、鄧小平、陳毅、鄧子恢、李先念、宋任窮、粟裕、李雪峰、陳賡、張際春、謝富治、劉子久十二同志為委員。在中原局下，建立豫皖蘇分局，以宋任窮為分局書記。（三）劉伯承為中原軍區及中原野戰軍司令員，鄧小平為政委，陳毅為軍區及野戰軍第一副司令員，李先念為軍區及野戰軍第二副司令員。陳毅仍兼華東野戰軍司令員及政委，粟裕為副司令員，宋任窮為副政委。蘇北兵團仍屬華東軍區建制，但在作戰上受華東野戰軍指揮。
中原野戰軍由劉鄧部和陳謝集團組成，下轄第一、第二、第三、第四、第六、第九、第十一縱隊。原晉冀魯豫野戰軍的第十、第十二縱隊已於一九四七年十二月分別改編桐柏軍區和江漢軍區部隊，原陳謝集團中的西北民主聯軍第三十八軍已於一九四八年五月併入豫西軍區。中原野戰軍分為兩個兵團：以原屬劉鄧大軍的第一、第二、第三、第六縱隊組成第四兵團，李先念為兵團司令員兼政治委員，陳錫聯為第一副司令員，陳再道為第二副司令員，蘇振華為副政治委員；以原屬陳謝集團的第四、第九縱隊成立第三兵團，陳賡為兵團司令員，謝富治為政治委員。第十一縱隊仍歸華東野戰軍指揮。
中原軍區的重建以及中原野戰軍的編成，形成了南線戰場的指揮中心。而陳毅加入中原局和中原野戰軍領導層的意義在於：劉伯承、陳毅、鄧小平不但可以一起指揮中原野戰軍，也可以一起指揮華東野戰軍。中原野戰軍與華東野戰軍——即後來的第二野戰軍和第三野戰軍——的協同配合，將對解放戰爭贏得最後勝利起到至關重要的影響。
一九四八年春夏之交，洛陽戰役的結局令國民黨軍在中原戰場上出現了不可彌補的漏洞，而隨之發生的是共產黨領導的中原野戰部隊指揮系統的調整完畢，這兩者共同構成了中原巨戰的先兆。