1947年，汤恩伯奉命率军对山东解放区进行重点进攻，其第一兵团的主力——张灵甫的整编74师前进到沂蒙山区的坦埠附近，其他部队没有及时跟进，结果，整编74师在孟良崮高地，被解放军华东野战军全歼。蒋介石的爱将张灵甫亦被击毙。消息传到南京。蒋介石极为震怒。蒋介石竟当着众将领的面，勒令对孟良崮惨败负有责任的汤恩伯跪下，举起手杖就打，致使汤恩伯满头是血。
1947年3月，国民党军改变战略方针，由对解放区全面进攻改为对山东，陕北解放区的重点进攻。进攻山东的国民党军集中24个整编师60个旅约45万人的兵力，编成3个兵团，由陆军总司令顾祝同指挥，采取密集靠拢、稳扎稳打的战法，于4月上旬成弧形向鲁中山区推进，企图与华东野战军主力决战于鲁中或迫使其北渡黄河。华东野战军决心寻机歼灭进犯的国民党军，但除于4月下旬在泰安歼灭1个整编师外，由于国民党军行动谨慎而未获战机。针对上述情况，中国共产党中央革命军事委员会指示：国民党军密集不好打时，忍耐待机;一不要性急，二不要分兵，将主力集结于机动位置;只要主力在手，总有歼敌机会。
华东野战军司令员兼政治委员陈毅、副司令员粟裕遵照这一指示，于5月上旬调整部署，将主力后撤至莱芜、新泰以东地区隐蔽待机。顾祝同得悉华东野战军主力撤退，即令所部向博山、沂水一线疾进。担任右翼进攻之第1兵团司令官汤恩伯不待相邻兵团统一行动，即以整编第74师为骨干，在整编第25、第83师配合下，于5月11日自垛庄、桃墟地区进攻坦埠，企图占领沂水至蒙阴公路;另以第7军及整编第48师北攻沂水，策应整74师作战。华东野战军原拟首先集中兵力，截歼孤立、暴露之国民党军右翼第7军及整48师，11日晚获悉处于中间战线之整74师冒进，便于就近集中主力加以割歼，当即改变决心，首先歼灭该师。
第2、第3、第7、第10纵队分别钳制和阻击河阳、新泰、莱芜地区的国民党军第7军、整编第11师、第5军等部，使其不能向整74师靠拢，而集中主力第1、第4、第6、第8、第9纵队，实施中央突破和断其退路，歼灭整74师于坦埠以南、孟良崮以北地区。至13日，整74师先后占领杨家寨、马牧池等地。当晚，华东野战军担任迂回穿插任务的第1、第8纵队，分由整74师的两翼寻隙向纵深楔进。第1纵队第3师攻占曹庄及其以北高地，构成对蒙阴整65师的正面阻击。该纵队主力则攻占黄斗顶山、天马山、界牌等要点，切断整74师与整25师的联系。第8纵队攻占桃花山、磊石山、鼻子山等要点，切断了整74师与整83师的联系，一部占领孟良崮东南之横山、老猫窝。与此同时，第4、第9纵队从正面发起攻击，占领黄鹿寨、佛山、马牧池、隋家店一线。
第6纵队从鲁南铜石急速北进，于14日晨抵达观上、白埠地区。整74师在其外围各要点失守后，仓促向孟良崮、垛庄收缩;华东野战军随即加速进攻。第4、第9纵队经彻夜猛攻，进至唐家峪子、赵家城子一线;第6纵队在第1纵队一部协同下，于15日拂晓攻占垛庄，切断整74师的退路;第8纵队攻占万泉山，同第1、第6纵队打通联系，形成对整74师的四面包围。整74师被围后，蒋介石一面命令该师固守待援，一面严令整编第11、第65、第25、第83师以及第7军、第84师等部，迅速向整74师靠拢，企图在蒙阴、青舵寺地区合击华东野战军主力。此时，向孟良崮增援的10个师多数只距离孟良崮一至两天行程，情况十分紧急。华东野战军严令阻援部队坚决阻住援军，主攻部队经调整部署后，定于15日下午发起总攻。
盂良崮主峰向西北连接两个540高地，西北端为520高地;其东南为芦山，东为雕窝，东西长约10公里，向北岗峦起伏直抵汶河，向南4公里为临(沂)蒙(防)公路，该山区山峰陡峭，多悬崖绝壁，山上无水，草木甚少。整编第74师师长张灵甫在向南突围未遂后，即以第58旅扼守主峰、芦山、雕窝高地;以第5l旅扼守520与两个540高地;第57旅位于两旅之间的570(史称600)高地：师指挥所位于东540高地，企图凭险固守，并致电国民党军统帅蒋介石求援。蒋介石认为此乃与华东野战军决战的良机，遂令张灵甫率部固守，并令空军空投粮弹，同时令整编第25、第83师等10个整编(军)向孟良崮增援。
华东野战军司令员兼政治委员陈毅，为迅速歼灭整74师，于当日13时调整部署后，即令部队发起总攻。第9纵队一部在炮火支援下，于16日8时攻占雕窝。第4纵队一部于攻占330、高地后，首先楔入520高地与西540高地之间，切断守军退路，连续打退守军4次反击，与第1、第9纵队各一部于午夜占领520高地，歼守军大部，其余部撤向540高地。各部继向西540高地发起攻击。第4纵队一部攀登陡峭山坡，从侧后插上西540高峰，突然向守军发起攻击，守军急速向东540高地溃退。张灵甫被迫率指挥所转至570高地;—16日拂晓，整编第74师以1个连至1个团兵力在猛烈炮火掩护下，向西540高地进行连续反击，第4纵队坚守部队伤亡较大，在十分危急之际，第1、第4纵队各一部赶到，将敌击溃。第9纵队向东540高地攻击的部队遭守军优势兵力的反击，攻击受挫。
期间第8、第6纵队于歼敌一部后，正向芦山攻击前进。在解放军的猛烈攻击下，整74师伤亡惨重，伤员、勤杂人员、骡马、辎重满山遍野，阵地已逞混乱。国民党空军投下的大批粮弹，多为解放军所获。蒋介石严令督援的8个师又2个旅，于16日上午开始向孟良崮山区靠拢，又为解放军的阻援部队所阻击。此时，第9纵队继续以一部兵力由正北和东北向东540高地攻击，一部向570高地和孟良崮主峰攻击。13时，第4纵队主力附山炮5门，向东攻击540高地，第6纵队一部亦由南向东540高地攻击，战至14时，攻占该高地，守军第51旅大部被歼。第8纵队和第6纵队一部于13时攻占芦山，歼守军第58旅3000余人。
在解放军的猛攻下，整74师余部被迫收缩于孟良崮、570高地及其间的凹地，隐蔽进行整顿和组织顽抗。第4、第6、第8、第9纵队合力总攻，解放军一纵切断黄伯韬、张灵甫之间的联系。八纵、九纵形成包围之势。 黄伯韬见状危急，急率整25师前来支援。张灵甫向黄伯韬撤退。解放军切断(整)七十四师退路，张灵甫向黄伯韬靠拢。 张灵甫被优势解放军压迫，孟良崮乃光秃秃之石山，山上无水。国军水冷式马克沁机枪，无水不能发挥威力。解放军弹密如飞蝗，射击在石头上，跳弹横飞，一弹连伤数人。(整)七十四师损伤惨重……战至17时，将国民党军精锐“五大主力”之一整编第74师全部歼灭，张灵甫在发完最后一份电报后与副师长仁杰，旅长卢醒等集体自戕！
1947年8月由人民解放军华东野战军政治部编印的《蒋军七十四师的调查研究》一书中(五.内战时期——从参加内战到孟良崮全军覆没)记载：“5月12日自垛庄北犯我坦埠，企图攻略沂水，甫遭接触，即南窜孟良崮山区，我野战大军加以重重包围，于5月16日，全歼该顽于孟良崮。除张灵甫、蔡仁杰、卢醒等自杀及战斗中击毙七千余名外，其官兵万五千人悉数被俘。”张灵甫在战死前有遗书：“十余万之匪向我猛扑，今日战况更趋恶化，弹尽援绝，水粮俱无。我与仁杰决战至最后一弹，饮诀成仁，上报国家与领袖，下答人民与部属。老父来京未见，痛极！望善待之。幼子望养育之。玉玲吾妻，今永诀矣！”