當時，黃維兵團被中原野戰(zhàn)軍圍困在徐州西南的蒙城和宿縣之間，距離敵剿總司令部所在地徐州不到200公里，這里盤踞著國民黨20多萬的精銳部隊，而在蒙城南面，盤踞著劉汝明兵團的10多萬部隊。華東野戰(zhàn)軍就處在國民黨這三支部隊中間。雖然表面上對國民黨三支部隊形成分割的態(tài)勢，但若蔣介石命令三支部隊不惜一切代價進行靠攏，華東野戰(zhàn)軍和中原野戰(zhàn)軍就將面臨著腹背受敵的狀態(tài)，情勢十分危險。
為了完成中央下達的盡量在江北殲滅敵人有生力量的戰(zhàn)略目標，華東野戰(zhàn)軍不僅不能讓劉汝明兵團去增援，更不可以讓劉汝明兵團跑了。正當粟裕斟酌用兵之計時，新的消息傳來：徐州的杜聿明動了。
黃百韜兵團的覆滅，讓蔣介石如坐針氈，就在中原野戰(zhàn)軍圍殲黃維兵團的時候，杜聿明向蔣介石建議提前撤出徐州。經過商討，國民黨統(tǒng)帥部做出撤出徐州退守宿縣的計劃，以徐州主力向南攻擊，另外以黃維兵團和李延年兵團分別由西南和正南兩個方向向宿縣推進，三軍合力打通徐蚌線。可令杜聿明沒有想到的是，這個三軍合力打通徐蚌線的計劃從一開始就遇到了挫折。華東野戰(zhàn)軍將8個縱隊21個師的兵力分為兩個梯隊，在徐州以南寬達50公里的正面和縱深30公里的區(qū)域構筑了3道防御陣地。即便邱清泉、孫元良兵團在猛烈炮火的掩護下突擊，可是受到華東野戰(zhàn)軍頑強阻擊，邱、孫兵團一天只前進了5公里。
在粟裕的率領下，華東野戰(zhàn)軍成功牽制住了杜聿明集團，他只能龜縮在徐州附近。這樣一來，南邊夾住了，北邊看住了，就等著中原野戰(zhàn)軍圍殲黃維兵團了。
正當黃維兵團向著宿縣推進時，中原野戰(zhàn)軍把他圍了起來：第四、九、十一縱隊在東平集、邵圍子一線由東北向西南壓縮；第六縱和陜南二十旅由南向北壓縮；一、二、三縱由西向東壓縮，再加上華東野戰(zhàn)軍的第七、三、十三縱隊……黃維的12萬人馬被困在了以雙堆集為中心東西20里南北15里的包圍圈里。
雙堆集一帶地形開闊，并不是個利于作戰(zhàn)的地方。在戰(zhàn)斗初期，黃維第十二兵團利用火力優(yōu)勢奪取了雙堆集附近的一些有利地勢，又以雙堆集為核心，憑借周圍20多個小村莊構筑了集團攻勢,各種火炮、輕重機槍、噴火器輪番上陣，牢牢控制住了戰(zhàn)局。他聲稱：“要讓共軍啃掉牙，脹破肚皮敗北于陣前。”他還一再向蔣介石表示：“劉鄧一下子吞不了我們！”
在此情況下，淮海戰(zhàn)役總前委要求華東野戰(zhàn)軍至少抽3個到4個縱隊參加到圍殲黃維兵團的戰(zhàn)斗中，這讓粟裕異常緊張。此時，華東野戰(zhàn)軍正看著杜聿明、夾著劉汝明，已派了3個縱隊去增援中原野戰(zhàn)軍，再調兵圍殲黃維兵團，若是黃維兵團打不下來，杜聿明兵團再來個魚死網破，兩個兵團連成一體的話，整個中原野戰(zhàn)軍和華東野戰(zhàn)軍都將面臨著腹背受敵的狀況。
盡管形勢已經相當緊張，粟裕還是派出陳士榘率領3個縱隊帶著重裝備去增援中原野戰(zhàn)軍。因為他清楚，現(xiàn)在只有盡快把黃維兵團吃掉才能改變整個戰(zhàn)局。
這時，淮海戰(zhàn)役總前委與華東野戰(zhàn)軍的電話線第一次接通了，陳毅在電話里，叫著粟裕的名字：“你先不要講，我來問你，你們打黃百韜是怎么打的？你們是用什么辦法打的？”粟裕告訴陳毅改變原有運動戰(zhàn)的方法，打村落攻堅戰(zhàn)、城市攻堅戰(zhàn)，采取近迫式作業(yè)。
于是，一場奇特的戰(zhàn)斗開始了。解放軍圍繞著黃維兵團的陣地開始了一場聲勢浩大的搶挖溝壕的行動：先是在地上匍匐行動挖掩體，隨后逐漸挖深，最后他們將挖好的掩體與掩體之間連接成交通壕和塹壕，像蜘蛛網一樣密密麻麻向著黃維兵團據守的據點伸展開去，有的壕溝甚至挖到了敵人的據點內。
這種戰(zhàn)術果然奏效。黃維兵團的重裝備失去了作用，10多萬人擁擠在狹小的地區(qū)，糧彈俱缺，成了甕中之鱉。
12月5日，淮海戰(zhàn)役總前委下達圍殲黃維兵團的總攻命令。
在黃維兵團東面，陳賡和謝富治率領中原野戰(zhàn)軍第四、九、十一縱隊及豫皖蘇獨立旅、華東野戰(zhàn)軍特縱炮兵一部向著沈莊和張莊一線奮起沖鋒；在黃維兵團西面，陳錫聯(lián)指揮中原野戰(zhàn)軍第一、三縱隊和華東野戰(zhàn)軍第十三縱隊特縱炮兵一部向著三官廟和許莊一線發(fā)起攻擊；在黃維兵團南面，王近山和杜義德指揮中原野戰(zhàn)軍六縱、華東野戰(zhàn)軍七縱、陜南第十二旅向周莊一帶發(fā)起攻擊。
12月15日，黃維兵團被殲滅，黃維被俘。
得知這個消息，緊張了七天七夜沒有休息的粟裕的神經一下子松弛下來，昏了過去。
殲滅黃維兵團，標志著淮海戰(zhàn)役第二階段的任務順利完成。后來，毛澤東將淮海戰(zhàn)役比作一鍋夾生飯。他對淮海戰(zhàn)役參戰(zhàn)將領們說：“淮海戰(zhàn)役打得好啊！就是這一鍋夾生飯，硬是被你們一口一口給吃下去了！”
圍殲杜聿明集團
中原野戰(zhàn)軍將黃維兵團牢牢地包圍在雙堆集時，黃維組織的多次突圍均告失敗。11月26日，蔣介石命令徐州剿總副司令杜聿明派李延年兵團前去救援，但是李兵團很快就被粟裕所指揮的華東野戰(zhàn)軍牽制部隊給打了回來。
蔣介石心急如焚，電召杜聿明火速到南京。杜聿明趕到后，先見到了參謀總長顧祝同。顧祝同告訴他：“老頭子也有困難，一切的辦法都想到了，連一個軍也調不動?，F(xiàn)在決定放棄徐州出來再打，你看能不能安全地撤出來呢？”
