一九四八年八月二十五日，毛澤東致電粟裕、譚震林，指定正在養病的許世友擔任濟南攻城部隊指揮員：
此次攻濟是一次嚴重作戰，請考慮在許世友同志身體許可情況下，請他回來擔任攻城主要指揮員，王建安（山東兵團副司令員）同志輔之。因王初到東兵團，不如許之熟悉情況，據饒漱石同志說，許休息若干天是可以回部工作的。攻濟任務完成，他仍可去休息。如何，請酌辦。
濟南攻堅注定要付出巨大犧牲。
毛澤東看重的是許世友勇猛的作戰作風。
接受任務的許世友認為，濟南攻堅必須像殺牛一樣殺其要害，對濟南守軍要採取「牛刀子戰術」：集中兵力和火力，東西並舉，數把尖刀衝開血路，向守軍的心臟凶狠地剜下去。許世友給攻城各部隊提出的要求是：不能擺困難，不能找借口，各自解決自己當面的問題，任何時候都不能停止攻擊！要不停頓地攻擊！攻擊攻擊再攻擊！
吳化文的戰場起義，使濟南城防西線敞開了一個口子，城內守軍正在驚慌失措中調整部署以封堵缺口。在這種情況下，必須連續突擊，絕不能給敵人以喘息的時間。九月二十日，粟裕電告許世友、譚震林以及第十縱隊司令員宋時輪、政治委員劉培善：「……戰局可能迅速發展，望令各部就現態勢以三、十及十三縱併力迅速向商埠攻擊，得手後則全力攻城。」許世友命令西兵團當晚對濟南城西守備區商埠發動攻擊，並將總預備隊十三縱投入到這個作戰方向。
就在許世友即將發動攻擊的時候，中央軍委致電粟裕、陳士矩、唐亮、張震，提醒他們必須保障濟南外圍的安全，因為吳化文已經起義，而攻城兵團又即將發起攻擊，王耀武很可能向天津或青島或臨沂等處突圍逃跑，「華東局應立即佈置通往臨沂、棗莊、青島、運河、魯西南各路之地部隊及民兵的節節堵擊，是為重要」。並通報說，「劉峙已令邱清泉兵團集結臨城待命援濟」，「應迅速集結阻援打援兵團，全力於鄒（鄒縣）滕（滕縣）地區」，準備殲滅邱清泉的援軍。為此，粟裕迅速調動打援兵團在濟南外圍形成了三道防線，並將葉飛的第一縱隊主力放置在濟寧與兗州之間適時機動。
沒能逃亡出去的王耀武此時的絕望是可以理解的：沒有任何外圍陣地可以依托，西面防線已經敞開口子，在援軍可能來援的各個方向上粟裕的十八萬人馬正嚴陣以待，而濟南城下許世友的十四萬部隊已經躍躍欲試，那麼還有什麼理由要堅守下去呢？王耀武分別給徐州和南京發出電報，再一次提出了向北突圍的請求，結果遭到蔣介石的嚴厲斥責：
俊才弟鑒：吳逆叛變，事出非常，聞之痛心。陳明仁守四平街，知不可守而守之，東北數省賴以保全。濟南之於華北，亦猶四平之於東北數省，戰略要地，務從固守，各路援軍已兼程急進矣。
蔣中正 民國三十七年九月二十日
王耀武看了電報，在「固守」二字旁畫了四個圈，在「援軍」二字旁畫了四個叉。然後他對身邊的參謀長羅幸理說：「七點召開旅長以上軍事會議，決定死守，團長趙峙山（第二綏靖區特務團團長）也來。」
會議氣氛慘淡。羅參謀長首先讀了蔣介石、顧祝同、劉峙的幾封來電，問大家有什麼意見，沒人吭聲。王耀武發言說：「老先生是英明的，我們要相信他。濟南是戰略要地，他責令我們固守，杜副司令並已親自督率邱清泉、李彌、孫元良等三個兵團來援，只要我們能堅守一個星期，援軍定可到達。老先生是關懷我們的，我們應當聽從老先生的指示，盡力堅守。」
一散會，王耀武下令徵召城內壯丁補充部隊，將老幼婦孺全部疏散，並且在攻守雙方的分界線上設立明顯的標誌，以利於空軍大面積的轟炸。除此之外，他還做了一件特殊的事，這件事顯示出他內心極度的不安和矛盾：他打電話給軍法處和軍事監獄，命令將所有在押犯人全部釋放。對於關押的共產黨員和俘虜的解放軍官兵，軍官發給金圓券五元、士兵三元，全部送出城去一個也不許傷害。
王耀武知道共產黨軍隊首先攻擊的應該是吳化文讓出的陣地。他命令部隊佔領濟南城西商埠的土圍子，掩護主力迅速變更部署：守備黃河南岸的特務旅和保安部隊，以及守備外圍的所有部隊全部撤回市區，配置在外城和內城各要點；守備西區的整編第二師二一一旅和保安部隊配置在商埠的各要點上；以整編七十四師一七二團的七個連和保安部隊一部，固守綏靖區司令部所在的郵電大樓。王耀武心裡很清楚，商埠守不了多長時間，因此命令將外城和內城城牆附近的民房拆毀以掃清射界。於是，在共產黨軍隊還沒有攻城的時候，濟南的外城和內城附近就燃起了大火。
濟南外城以西是一片狹長的工業和商業區。如果要接近濟南西邊的外城，必須首先佔領這個區域。這個區域的四周挖有寬九米、深六米的外壕，外壕的裡側是約三米高的圍牆，沿著圍牆每隔二十米修有一座地堡。而在商埠內，各大建築物上都設有雙層射擊陣地，四周用沙袋構成掩體，形成能夠獨立作戰的支撐點。在各主要街巷和路口，還有活動堡壘、地堡、鹿砦和柵門。
九月二十日，皓月之下，炮火驟起，吶喊震天。
攻城部隊從西、南、北三面對商埠發動了猛烈攻擊。
從北面首先插入商埠的，是十縱二十九師八十五團。副團長劉竹溪率領先頭營衝到官紮營前街西口的時候，守軍已經潰逃，但守軍已將西門用土坯砌成的很厚的土牆封閉，馬匹和輜重無法通過。官兵們把重武器從馬背上卸下來用人背，繼續往裡沖。當衝到官紮營東口和天橋以西時，遭到了天橋至火車站一線守軍的火力阻截。這時，三營和特務連上來了，三營長劉振溪向劉竹溪報告說，七連的看護員李恩海是濟南人，對這一帶路很熟悉，可以當嚮導。劉竹溪與李恩海商定繞過正面守軍的路線之後，決定留下二營鉗制當面之敵，自己率領三營和特務連繞路前進。
商埠區內到處是槍聲和混戰的吶喊聲，黑夜裡穿行在複雜的街巷裡如同進了迷宮。三營和特務連迅速繞過天橋，穿過鐵路，插到了館驛街與小緯一路的十字路口。劉竹溪把八連和特務連留下攻擊街心的碉堡，其餘部隊沿館驛街北側繼續向東前進。大街上到處是守軍的街壘和火力點，他們不得不採取從街巷和院落中橫穿而過的方式。他們攜帶著大量的小炸藥包，這種小炸藥包大的八九斤，小的只有三五斤，既可以炸碉堡，也可以對付坦克。在巷戰中，把小炸藥包往牆上一貼，爆炸後就形成一個洞，橫穿居民區的時候，一連串地炸下去，就可以形成一道由若干個洞口組成的「胡同」。三營穿越館驛街，經順河街繼續向東，他們看見了濟南外城城牆。
來到城牆下的七連即刻遭到城牆守軍的火力阻截，官兵們投擲小炸藥包和手雷艱難突擊後，終於看見了濟南外城的普利門——劉竹溪率領的突擊隊已經插到商埠守軍的背後，將商埠與濟南外城分割開來。但是，劉竹溪的突擊隊插到這裡，就意味著將東西兩面受敵，而他們必須堅守在這裡等待後續部隊打進來。
天亮了，普利門附近的守軍在炮火和坦克的掩護下發動了反擊。
反擊方和防禦方都利用複雜的街巷互相摸索。雙方都是小股兵力，火線犬牙交錯，根本沒有前後方的概念，都是突然相遇，猝不及防，短兵相接，照面就打。每個院落裡都發生了遭遇戰，劉竹溪突擊隊中的營指揮員、軍醫、衛生員、炊事員都變成了戰鬥員，幾乎每個人都需要單獨作戰。俘虜和傷員無法後送，只能派少量兵力看管照顧，傷員在流血，俘虜想逃跑，七連先後有兩名衛生員為此犧牲。看護員李恩海帶著三名擔架員組成火線救護組，卻兩次被守軍堵在房子裡，他們用手榴彈、扁擔和擔架硬是把衝進來的敵人趕了出去。三營的包紮所設在館驛街中段北側的一個有兩層樓的院子裡，當敵人衝進來的時候，軍醫劉文昌、許安福率領包紮所的衛生員佔據著二樓，用手槍和手榴彈把敵人打了出去。
八連和特務連移交陣地後也摸了上來。他們前進到後影街和館驛街交叉路口時，發現至少有兩個連的守軍正向東運動，八連撲上去就打，這股守軍在突然而至的打擊下倉皇四散。在一個街巷口，一排副排長霍德榮抓住了一名守軍士兵，這股守軍蜂擁向街巷的另一頭跑，誰知那頭二班的機槍響了。在鞏固陣地的戰鬥中，八班副班長程兆在一處房頂上設置了一個十分理想的射擊點，有效地掩護了後續部隊的攻擊。但這個射擊點隨即成為敵人的重點打擊目標，炮彈鋪天蓋地打下來，程兆的機槍始終沒有停止射擊，直到他和腳下的那間房子同時被炮彈擊中，程兆的身軀混合在瓦礫之中轟然倒下。
八十二團攻擊到緯十路時，街口突然烈焰騰空，國民黨守軍把堆積的數千桶汽油點燃了。大火之中，汽油桶接連爆炸，震天動地，熱浪灼人。八十二團官兵僅僅頓挫了片刻，立即向火海兩側迂迴，守軍見狀倉皇撤退。在追擊的過程中，守軍又幾次返身發動反擊，雙方展開了殊死的搏鬥，由於後續部隊沒有及時跟上，八十二團的先頭部隊彈藥已經耗盡。爆破手魏有志在數次負傷之後，抱起一個二十斤重的炸藥包迎著守軍衝了過去，用自己的生命換來了勝利的轉機。
殘酷的街巷戰中，解放軍官兵一次次穿牆作戰，衝進了一個又一個市民家中。正值中秋，家家都已準備好了過節的東西，但是戰爭使市民無奈地棄家逃離。解放軍官兵遵守群眾紀律，在很累也很餓的情況下，誰也沒動那些美味的食品——不知道那個家就在這一帶的看護員李恩海是否看見了自己的家門？
位於正西方向的三縱，其攻擊分工是：八師二十三團攻擊西南卡子門，突破後沿商埠中部的經四路向東發展；九師二十團突擊鐵路工廠、二十五團突擊北卡子門，而後沿商埠北面的經一路和經二路向東發展。在炮火的掩護下，二十三團的突擊隊員抱著炸藥包，冒著守軍的反擊炮火，越過電網和壕溝，向西南卡子門連續爆破九次，終於將城門炸開一個缺口，後續部隊迅速擁入。二十團首先肅清了鐵路工廠的外圍地堡，連續炸毀四道工事後突進工廠裡面。二十五團接收了吳化文部守備的兩個工事，然後向西北卡子門實施攻擊。至午夜十二時，第三縱隊和魯中南縱隊的各突擊部隊已全線突破商埠防禦陣地，開始向濟南城中心地帶推進。
天亮的時候，當八師攻擊到經四路與緯八路交叉路口時，街心的一座堅固街壘橫在前進的路上。師長王吉文得知攻擊受阻後跑到前沿，路口彈如雨下，王吉文和營團幹部開始研究如何摧毀這個堡壘。就在這時候，守軍發射的一顆炮彈在附近爆炸，一塊彈片嵌進王吉文的左肺。王師長從昏迷中甦醒過來後，發現軍醫正在給他打針，他說：「不要給我打針了，快去前面搶救負傷的戰士，他們治好了還可以參加戰鬥！」王吉文拒絕上擔架，讓擔架隊趕快上前沿去把受傷的戰士抬下來。王師長躺在戰場硝煙瀰漫的路口，直到血流殆盡。
從商埠南面發起攻擊的是十三縱，三十七師的一九、一一團為先頭突擊部隊，分別攻擊西卡子門和東卡子門。一九團突擊順利，戰前一營長田軍曾帶連排幹部仔細觀察了攻擊路線，因此，二連和三連的爆破組準確地對西卡子門實施了爆破，巨響之後，磚石騰飛，碉堡和各種障礙物頃刻瓦解。當大部隊對西卡子門發動衝擊的時候，國民黨守軍的一個火力點復活。一連機槍手抵近射擊，掩護二連的爆破手往上衝。傍晚時分，西卡子門守軍的火力點被全部肅清，二營沿著大槐樹南街攻擊前進，三營沿著道德東街向前發展，一個小時後，一九團奉命停止前進，開設陣地掩護一一一團向縱深推進。
一一一團向東衝擊的時候，遇到了省立醫院據點的頑強抵抗。省立醫院內的守軍，是剛從火車站方向調來的整編第二師二一一旅六三二團，該團到達後立即部署防禦，搶修工事，團部指揮部設在醫院中心樓樓下的地下室裡。西卡子門方向的槍聲越來越近，連醫院的哨兵都開始受到冷槍的襲擾，感覺不妙的六三二團派出搜索隊，搜索隊官兵看見了令他們心驚肉跳的情形：在醫院的四周，共產黨官兵正在穿牆挖洞，他們就要接近攻擊醫院的位置了。六三二團立即收縮兵力，準備迎戰，並規定戰鬥口令是「王先生」——取王耀武司令官親自指揮之意。團長王彬基宣佈：「戰鬥開始後，會形成巷戰和局部被包圍，我們黃埔同學要對得起黨國和司令官，我們要決心與陣地共存亡。」話音未落，醫院就受到了攻擊。這時候，六三二團接到了王耀武令他們出擊的命令，副團長帶領六連真的出擊了。但是，剛衝到緯八路路口，他們突然發現在前面執行掩護任務的坦克掛出了白旗，副團長立刻命令趕快撤退。
三十七師一一一團四連一排繞到東側，利用民房作為掩護接近醫院，官兵們翻牆進入炸毀一座地堡，將省立醫院的北門打開，二營乘勢衝了進去。這時，醫院裡已經混亂，所有的窗戶都被打碎，到處是「繳槍不殺」的喊聲。六三二團團長最後在發報機中說了句「各自好自為之」就再也沒了消息，副團長和幾個營連軍官頭上頂著弄濕的毛氈藏在一張大桌子下面，一邊躲避彈雨，一邊把五六十枚手榴彈捆紮在一起投了出去，趁著巨大爆炸瀰漫開的硝煙，這些軍官脫掉軍裝混在難民中逃走。
在東卡子門攻擊的一一團攻擊受阻，三十七師師長高銳命令三營長劉坤和教導員王文從守軍的側翼插進去，然後與二營實施內外夾擊。三營從一九團撕開的突破口鑽進去，迂迴到西卡子門守軍的側後，與二營協同發起攻擊，東卡子門終於被突破。三營一鼓作氣，連續穿越幾條街道，午夜時分攻到了汽車站附近，並繼續向外城城牆接近。天色微明時，城牆上的守軍突然發現城牆下來了一支隊伍，於是在炮火的掩護下發動猛烈反擊。三營頑強抵抗，致使守軍無法弄清楚攻擊城牆的到底有多少人。最後，守軍抓來了幾十名市民，讓他們走在反擊部隊的前面，這一情景讓三營官兵十分吃驚。劉坤營長迅速作出決定：部隊不得開槍，後撤，前沿只留幾名特等射手。三營主力後撤的時候，特等射手們彈無虛發，專門打押解市民的國民黨軍官兵，射擊精確得連市民也不怕了，一些人開始逃跑，一些人乾脆轉身和押解他們的守軍扭打起來。國民黨守軍開始沿街道兩旁放火，三營官兵在火焰中趁勢衝上去，一面追擊撤退的守軍，一面和市民們一起救火。
二十一日，商埠戰鬥進入白熱化階段。
三縱、魯中南縱隊和十縱已經從不同方向靠近了濟南外城最重要的兩座城門：普利門和麟祥門。整編第二師拚死防守，雙方在普利門正面逐條街巷地爭奪。整編第二師副師長唐孟壑命令獨立大隊全面出擊，要求至少把共軍壓制到緯二路以確保普利門的安全。獨立大隊的工兵先在順河街放火，然後步兵趁亂出擊，出擊之後才發現，共產黨官兵已經用穿牆打洞的辦法逼近了普利門，連下水道裡都佈置了監視哨，獨立大隊的反擊部隊剛一露頭，就遭到了猛烈的火力阻擊。黃昏到來時，攻城部隊突然向普利門和麟祥門一線猛烈開炮，整編第二師獨立大隊大隊長瞿賡揚看見了他驚駭的景象：
……整個陣地天昏地暗，炮彈空中飛行的奇異聲，使人膽戰心驚。炮彈爆炸聲、傷者的慘叫聲、建築物的倒塌聲，合在一起猶如天崩地裂。這樣猛轟了一個半鐘頭，方告停止。圩牆內外，一片火海。這時解放軍的指揮槍咯咯咯地在各方響著，響一次就有一次衝殺。其聲勢之大，攻擊之猛烈，為內戰中所罕見。「血流成河」這句形容戰場的老話，用在當時普利門內外，也是恰當的。那裡是血水橫流，屍橫遍地。青年會在炮擊時樓被削平了，工兵營全部被殲，法院大樓也聽不見還擊的槍聲。我命一營三次衝出去，均有去無回。至此我所指揮的部隊，已被殲滅得差不多了，僅存二三十人。迎賢門裡至南邊馬路，圩牆內也是死屍滿地，道路堵塞，圩牆上的守兵，已稀稀落落，所剩無幾了。我乃到普利門裡小廟後面梁團二營指揮所同該營營長研究如何抵禦，他呆若木雞，一言不發，最後方說：「我去牆上看看。」他就這樣一去不復返了。外邊解放軍仍是一個勁地進攻，我又順著圩牆向南跑到三團指揮所同梁為學團長商議怎麼辦，梁也束手無策。
獨立大隊的官兵混亂地擁擠在街道邊的商店和民房裡。
二十二日凌晨五時左右，街道上突然響起「繳槍不殺」、「如果不繳槍，就叫你坐飛機」的喊聲。一個國民黨軍士兵剛把槍伸出窗外，就被飛來的一顆子彈打死。然後，商店和民房的門被共產黨官兵打開，一名幹部宣佈了共產黨的俘虜政策之後，整編第二師獨立大隊的大部分守軍放下了武器。
火車站是王耀武重點防禦的部位，守軍是整編第二師二一一旅和一個鐵甲車隊。
十縱從商埠北面向火車站開進的時候，沿途受到二一一旅的猛烈阻攔，十縱果斷穿插，將二一一旅的六三二團和六三三團割裂開來。二一一旅旅長馬培基命令守備大華電影院的六三一團加強營增援六三三團，但增援部隊剛推進到郵電大樓以西的時候，就與攻擊部隊迎面撞上了。在郵電大樓防禦的五十八旅一七二團居高臨下從窗口和堡壘以猛烈火力封鎖馬路，暫時遲緩了攻城部隊的推進。十縱官兵開始迂迴包圍六三三團和六三二團的陣地，當六三三團和六三二團無法堅持潰敗下來後，戰鬥延伸到了郵電大樓和火車站。國民黨守軍將火車站附近的民房全部燒燬，封鎖了通往車站的所有通道，並在站內軌道上部署了兩列載有數百名鐵路警察的裝甲列車。列車來回移動射擊，給火車站防守部隊以火力支持。
十縱採用爆破的方式逐屋推進，並且在建築物內挖掘地下坑道至通敵人的工事和碉堡下面，然後引爆炸藥。二十八師八十五團在陳景三團長和張維滋政委的率領下，穿越鐵路對火車站形成東西夾擊的態勢；八十六團在團長劉天祥和政治委員翁默清的率領下搶奪了天橋，從北面向火車站插入一刀。鐵甲列車依舊在來回掃射，攻擊部隊受到火力壓制。十縱司令員宋時輪命令炮兵將其擊毀，特種兵縱隊炮兵三團用棉被、麻袋把火炮輪子裹起來，將十四門野炮隱蔽推進到距鐵甲列車僅兩百米處，然後突然以猛烈的轟擊摧毀了鐵甲列車。隨著防禦火力的減弱，千餘名守軍被壓縮在車站之內。
二一一旅旅長馬培基意識到大勢已去，決定突圍。他命令六三一團團長劉沛然率殘部掩護，自己和參謀長張顯源帶著特務連等兩百多人從火車站大樓內的地下室裡鑽出來，向車站北面的天橋方向逃去。奔跑中，馬培基的腹部被子彈擊中，他一頭栽倒在地，由於無人救護，終因流血過多死亡。參謀長張顯源也負了傷，在混亂中下落不明。這股逃敵除傷亡者外，突出去的七十多人大部分被俘，小部分官兵換上便衣混進了難民中。
二十二日，商埠絕大部分地區已被攻佔，只有個別堅固據點還在戰鬥，其中第二綏靖區司令部所在地郵電大樓是最頑固的據點。
此時王耀武的司令部已經轉移到城內，但是郵電大樓裡的守軍仍在頑強固守。防守郵電大樓的部隊，就是空運到濟南的整編七十四師一七二團的七個連，由那個希望報答王耀武栽培之恩的劉炳昆團長指揮。劉炳昆到達濟南後，王耀武把蔣介石送給自己的「中正」佩劍送給了他，這讓他很是激動，當場刺破手指表示：「請司令官記住，我的老家是湖南長沙！」王耀武明白，劉團長準備付出生命。他派劉炳昆固守郵電大樓陣地，並告訴他郵電大樓和附近的工事全都是鋼筋水泥修築的，司令部裡還儲存有大量的食品、罐頭和彈藥。劉炳昆到達陣地後，在電話裡對參謀長羅幸理說：「萬一陣地失守，請給我的妻子打個電報。」王耀武接過電話說：「你這種精神很好！只要有此精神，陣地就一定丟不了，給你妻子的電報也不用打，我立刻把你這種忠勇精神電報給老先生，保你為少將旅長！」
劉炳昆防守的地域，除郵電大樓之外，還包括附近的上海銀行、中國旅行社和德國領事館等數座大樓。
三縱司令員孫繼先和政治委員丁秋生心急如焚，因為攻城指揮部的命令是：「務於二十二日午前，完全掃除商埠及城郊之敵。」
郵電大樓位於緯二路，鶴立雞群般地矗立在一片鋼筋水泥建築物中，四處伸出的大地堡控制著周圍的街巷，樓頂上是堅固的火力掩體，配有輕重機槍和三門火炮。附近的每棟樓房也都是可以單獨作戰的大堡壘，機槍火力點總數在百個以上，步槍射擊孔在千個以上。
三縱開始攻擊了，樓上傾瀉下來的手榴彈、迫擊炮彈、六炮彈和機槍子彈如同驟雨，孫繼先組織起十幾門擲彈筒連續發射炸藥包，同時又派出數支爆破隊不惜傷亡連續爆破，郵電大樓高大的圍牆終於被炸開缺口，堅固的樓體也被炸出了幾個大窟窿，突擊隊員從突破口拚死往裡沖。排長張峰衝進一樓時，守軍從樓梯上扔下炸彈和毒氣彈，毒氣散過之後，依舊能夠站起來的官兵頑強地往二樓爬。
劉炳昆的指揮部設在三樓。此時，他已脫掉軍裝，只穿一件白色襯衣，腰間掛著那柄「中正」佩劍，胸前是一支美式衝鋒鎗。他剛剛處決了一名膽怯的排長，面對環繞在他身邊的十幾名軍官，他臉色鐵青地說：「養兵有什麼用？就是為了在戰場上賣命！商埠已經只剩下我們在打，我們要打出個樣子給王司令和蔣總統看！」郵電大樓對面的德國領事館已無法支撐，這對郵電大樓的防禦構成了威脅。劉炳昆電話請示王耀武，要求把守備德國領事館的殘餘部隊撤到郵電大樓來，王耀武擔心部隊撤過馬路的時候會遭受傷亡，兩人正在商量時德國領事館內的守軍已經投降了。
郵電大樓在三縱和十縱的持續圍攻下，守軍傷亡慘重，被打死的人不斷地被從樓上拋下來。下午十六時，二十九師把火炮直接推到樓前抵近射擊，爆破組連續七次爆破了三十五公斤炸藥，郵電大樓開始搖搖欲墜了：
大樓的門窗被炮火打得燃燒起來，煙霧瀰漫，火光由門窗噴出，大樓的西半部只剩下鋼筋水泥的殘破的樓架子。解放軍隨即衝進大樓的院內，槍聲、手榴彈及炸藥的爆破聲，震得地動樓搖。防守大樓的殘部仍想把衝進院內的解放軍打出去，曾數度反擊，爭奪甚烈，官兵傷亡眾多，被迫退縮一隅。
攻擊部隊衝進大樓，在樓梯和各個房間開始最後的清剿。國民黨守軍利用能夠利用的所有東西，包括桌椅、沙發、成袋的麵粉、彈藥箱等等，搭建起阻擊掩體進行最後的抵抗。督戰軍官們端著機槍在房間裡掃射，逼迫士兵到走廊裡作戰。五連的九名戰士衝進一個巨大的房間裡，班長趙十順發現一隻鐵皮櫃子上架著三挺機槍，三名機槍手站在那裡已經舉起雙手。這就是一七二團的指揮部。幾十具屍體橫陳在地上。在正中央的大桌子後面，椅子上垂頭坐著一個人，腹部和頭部都已受傷，胸口處插著一柄短劍，血流了一地——最後時刻，劉炳昆用「中正」佩劍自殺了。
二十二日下午，商埠區被攻城部隊佔領。
王耀武的殘餘部隊全部退守城內。
這時候，杜聿明指揮的增援部隊在大雨中出動了。
蔣介石飛臨濟南城上空。他的這一舉動令幕僚們很是擔心，他們曾經勸阻他不要去，說讓空軍司令代替一下就可以了，但蔣介石堅持要去。座機在濟南城上空盤旋幾圈之後，蔣介石與王耀武通了電話。蔣介石用盡可能溫和的聲調問：「俊才，你在哪裡啊？」王耀武仰望天空回答：「我在城內指揮作戰。」蔣介石說：「你已經挫敗共軍的數次進攻，證明你的十萬將士都是黨國的忠勇之士，全國軍民都希望你再次創建天下奇功。」王耀武說：「學生明白。」
濟南老城分內外兩城，內城套在外城裡，無論內城還是外城都有高大堅固的城牆。外城自北向西向南向東排列的城門是：小北門、永鎮門、普利門、麟祥門、永綏門、新建門、中山門、永固門、永靖門和墾吉門。
王耀武認為，攻擊商埠區的作戰已使共軍遭受嚴重傷亡，至少需要三至四天的準備和恢復才可能攻擊外城。於是，他將主力部隊十五旅、十九旅和五十七旅集中於內城，將七十七旅、二三一旅和綏靖區特務旅以及保安六旅部署在外城進行防禦。
華東野戰軍攻城部隊確實極度疲勞，減員來不及補充，傷員還沒有全被抬下去，彈藥和其他攻城作戰器材也消耗嚴重，按照一般的作戰規律，雖然不至於如同王耀武估計的那樣需要休整多日，但兩天還是需要的。
許世友命令：持續攻擊！即刻攻擊！決不給王耀武喘息的時間！
二十二日黃昏，對濟南老城的攻擊不顧一切地開始了。
外城是濟南城防的第二道防線，城牆由大石塊和大方磚砌成，牆高八米、厚十米，城門樓是火力支撐點，城牆頂部設有母堡和子堡，城牆中部設有三層火力發射點，城牆外的外壕寬八米、深四米，內外設有鐵絲網。
二十二日十八時三十分，攻城部隊東西兵團的炮兵一齊開火，炮火準備長達一個小時。炮聲一響，國民黨守軍立即開火，輕重機槍、毒氣彈和火焰噴射器全部向城牆外傾瀉，外城城牆下一片火海，毒氣夾雜著濃煙翻捲升騰，令人窒息。
十三縱負責攻擊西南方向的永綏門，三個團齊頭並進：三十七師一九團攻擊城門正面，一一一團攻擊北側，三十八師一一二團攻擊南側。一九團五連爆破組在炮火的掩護下，很快在外壕爆破成功，並把外城城牆炸開了一個兩米寬的缺口。在團長田世興的命令下，登城突擊隊開始衝擊。二營四連五班長趙守令率領的戰鬥小組率先登城，將紅旗插到了永綏門上。守軍的炮火集中在這個狹窄的突破口上，步兵也開始了反擊，先頭登城的二營與後續部隊被割斷，跟隨四連突破的營教導員姚江在反覆爭奪突破口的戰鬥中陣亡。二營營長宮本江督促後續部隊全力突破，六連冒著猛烈的炮火實施登城，與四連一起鞏固和擴大了突破口，一營和三營的官兵蜂擁進入外城。
十縱的任務是突破永鎮門和小北門，主攻部隊是二十九師。師長蕭鋒和政治委員李曼村最後確定：八十五團攻擊永鎮門，八十六團攻擊小北門，八十七團和八十九團為第二梯隊。永鎮門是濟南外城最堅固的城門，城高壕深，城樓工事密集，火力強勁。就在八十五團發動攻擊的前一刻，國民黨守軍突然向這裡進行了炮火反準備，伴隨著數十架火焰噴射器一起發射，永鎮門外頓時烈火熊熊，已經到達突擊前沿的二營官兵傷亡慘重，所有的攻城器材都被燒燬。更嚴重的是，團屬炮兵暫時無法接近射擊，只能依靠步兵的炸藥包強行爆破。二營教導員於耿光指揮爆破組在烈焰中強行爆破：第一爆破組組長趙同起帶領兩名爆破員首先將城門外的鹿砦炸飛；接著第二、第三爆破組先後炸毀了暗堡和地堡；第四爆破組不顧一切地直撲城牆，一聲巨響之後，城牆炸塌了一角。由於城牆太厚無法洞穿，爆破組只有前仆後繼地往上送炸藥，在倒下了數名戰士之後，終於把二十一包重三百七十多斤的炸藥堆在了城牆下。爆破隊副隊長苟德光衝上去點燃炸藥，三丈高的城門樓倒塌。三排長李振恆衝在最前面，並首先登城。剛上去就有五名守軍士兵撲了上來，他打倒一個，其餘的退守到地堡中，李振恆腿部中彈，他爬到地堡前將點燃的炸藥包塞進去，巨大的爆炸將他拋出很遠，他的耳朵被震聾了。三排官兵在城牆上抗擊著守軍的反擊，牢牢掌握著突破口，讓後續部隊向外城裡猛插。進入外城之後，巷戰局面混亂，夜晚無法準確辨別地標，發生的幾乎都是遭遇戰。特務團團長蔡振華犧牲，八十五團副團長劉竹溪負傷，八十六團二營長曹振國犧牲，犧牲的還有石長才和魏和兩位營長。
聶鳳智的九縱和袁也烈的渤海縱隊在城東主攻永固門。此時，永固門外還有歷城和千佛山兩個據點沒打下來。聶鳳智提出：繞過這兩個據點直接攻擊外城，而這兩個據點的守軍斷然不敢出擊，更不敢貿然開炮，因為開炮可能會誤傷他們自己的部隊。聶鳳智還把上級要求他們「助攻」的命令，傳達時擅自改成了「主攻」，有幹部說這樣擅改命令不好，聶鳳智說：「先攻進濟南有什麼不好？東面打好了，西面才能順利！」於是，九縱對永固門的攻擊一開始就顯出了不惜一切的狠勁。聶鳳智有一張王牌，就是在魯南戰役中繳獲的四輛十五噸重的美式輕型坦克，坦克上配備有火力強勁的三十五毫米平射炮，而王耀武守備濟南的坦克全部是陳舊落後的日式坦克。坦克開路，這在共產黨軍隊以往的作戰中極其罕見。當九縱的坦克向國民黨守軍衝過去的時候，守軍官兵個個目瞪口呆，他們不知道共產黨軍隊有了坦克，而且還是美式的，於是大喊：「別誤會！我們是保六旅的！」見坦克不理會他們，紛紛掉頭就跑。在坦克的助戰下，九縱肅清了永固門的外圍，然後用坦克上的平射炮把城門轟開，七十三團突擊隊員蜂擁而入。永固門城門太窄，坦克無法進去，步兵就用各種辦法把城門鑿大了，官兵們實在是太喜歡坦克了。
戰後，山東兵團在戰鬥總結中特意把坦克誇獎了一番：「攻擊永固門的戰鬥中，坦克共消耗炮彈約七百發，機彈一千八百發，我七十三團步兵未經爆破，即直接架梯順利完成登城任務，極少傷亡……（坦克）火力命中精確，很短時間內即完成任務，頗得好評。」山東兵團政治委員譚震林在戰後致毛澤東的電報中也特別提到了坦克：「我軍坦克隊已參戰，戰術上採用游擊戰，突然出現，達到了掩護步兵前進、壓坍敵人地堡之作用。連續作戰兩次，僅一個駕駛員因膽大，開窗展望，手負輕傷外，余無損失。」
彈片橫飛的激戰之時，那位年輕的坦克駕駛員要「展望」什麼？
二十三日，濟南外城已被全部攻佔。
上午九時，徐州「剿總」總司令劉峙和空軍副總司令王叔銘飛臨濟南上空，用無線電話聯絡到王耀武，劉峙說：「你們的困難我知道。援軍進展很快，幾天就可以到濟南。你們必須堅守待援。需要什麼，可以空投。」王叔銘接著說：「總統很關懷你們，叫我們竭力援助你們作戰。盼你們堅守待援。」王耀武已經不再指望援軍盡快到達，他對王叔銘說，共軍的各級指揮部和大量後續部隊均集結在濟南四周，空軍要炸儘管炸好了。
王耀武的守軍退守內城。
許世友的攻城部隊已經精疲力盡。
從一個一個殲滅外圍所有的據點開始，到一個一個突破外城所有的工事和堡壘，華東野戰軍攻城部隊的官兵已是傷痕纍纍，血跡斑斑，當他們穿過在炮火中成為一片廢墟的城市，穿過佈滿交戰雙方戰死者屍體的街道，從不同的方向推進到濟南內城的時候，頓時表情嚴峻：與外城一樣高大的城牆和城門森嚴地矗立在他們的面前。