第13师团发起进攻，与51师一起夹击漆家河东北之敌，第13师团的最后防线终于被突破，敌师团长赤鹿理也在督战时负了伤。至此，张灵甫作为主力与51师携手歼灭日军南京大屠杀元凶13师团大部（这里歼灭包括击毙，击伤，俘虏）。张灵甫在常德战役外围作战表现突出，获颁云麾勋章一枚，他是因常德战役有幸授勋的少数将领之一，被蒋介石誉为“模范军人”。
1944年第四次长沙会战，张灵甫指挥58师在益阳、宁乡诸战中，毙敌736人，伤敌1697人，自身伤亡一千六百余人，58师伤亡较大，长沙失守后，58师是极少数受军委会表彰的部队之一。此后张灵甫一直在湘乡至邵阳一线继续与敌40师团鏖战，战至10日，张灵甫会同前来增援的第19师一起克复永丰，之后暂留守永丰抓紧进行战地整补，58师经过连日激战，伤亡日渐加重，超过四分之一，军委会要74军解围衡阳，7月23日，张灵甫率58师向金兰寺方向出击，与116师团激战两天，与敌援军激战2日，于27日立即派部猛攻金兰寺，在张灵甫与唐伯寅（19师）的合力奋战下，金兰寺终告克复。29日，张灵甫到达衡阳附近，鸡窝山，张灵甫师负责进攻鸡窝山日军，与日军116师团一直在鸡窝山附近战斗，由于张灵甫师此前一直在前线与日军血战，攻至衡阳附近时全师伤亡近四成，战斗力大大下降，至8月8日张灵甫收复鸡窝山，通向衡阳的大门敞开，同日，日军攻克衡阳，方先觉投降，直至8月10日，58师仍在鸡窝山以东的1066高地与敌激战。第58师是该次会战中个别表现优异的部队，军事委员对他在会战诸战役中的卓著战功给予了高度肯定。1944年8月，张灵甫因功授勋，荣膺宝鼎勋章。不久之后，再获颁忠勤勋章。
抗战时期，张灵甫将军率领的74军的军歌是：“起来，弟兄们，是时候了，我们向日本强盗反攻。他，强占我们国土，残杀妇女儿童。我们保卫过京沪，大战过开封，南浔线，显精忠，张古山，血染红。我们是人民的武力，抗日的先锋；人民的武力，抗日的先锋！”
内战兵败
淮阴之战
1946年7月，**集中58旅的重兵进攻华东解放区，其中主力31个旅进攻苏皖解放区，另27个旅进攻鲁南，牵制山东解放军。而张灵甫的整编74师作为主力中的主力负责主攻淮阴，淮阴是苏皖解放区首府，具有非常重要的军事、经济和政治意义，即使在解放军采取积极防御，不计较一城一地得失的战略下，也是属于不到万不得以绝不轻言放弃的要地。当时华东解放军主力有山东野战军（简称山野，陈毅指挥，共约7万余人）和华中野战军（简称华野，粟裕指挥，共约11万余人）。
7月淮南战局恶化，解放军除留第6旅16团和地方部队外，主力撤出淮南。9月，**兵锋直指淮阴，第7军进攻泗阳，掩护74师侧翼；74师配属工兵第15团沿运河主攻淮阴；整编28师之192旅为预备队，在74师后跟进。此时华野主力正在苏中作战（即苏中七战七捷），山野主力则在沭阳以南。在**发起攻势后，解放军以华野9纵在运河与洪泽湖之间设置三道防线，作为防御正面。
9月12日，经三天激战**第7军突破9纵第一道防线。9月13日，第7军和74师同时展开攻击，于当日下午突破第二道防线，陈毅山野主力无法及时南下，只得急令2纵向淮阴开进，但沿途道路桥梁均遭破坏，无法及时赶到。陈毅只好急电粟裕：“……总之此次淮北作战，由于主观指导错误，贻误全局；五内俱焚，力图挽救，当尊重兄等建议。”粟裕见形势危急，急调第5、第13旅星夜北上驰援，粟裕亲率主力第1、第6师也随后北上增援。但是从海安到淮阴，多是水网地带，又逢大雨，道路泥泞，部队只能走水路，但一时间又没有足够的船只，一次只能渡1个旅，加上**飞机的封锁，只能在夜间行动。华中主力赶到淮阴最快也得到20日。而事实上，19日胜负就已经定了。
9月14日，谭震林和张震在码头南岸开设前线指挥部，统一指挥淮阴地区作战。
9月15日，双方在淮阴外围杨庄、马头、小桥一线激战，9纵及第5、第13旅拼死抗击，尤其是从高邮兼程赶来的第13旅（即皮定钧旅），是参战各部队中战斗力最强的部队，对突破运河的74师连续实施了9次反冲锋，双方都付出了巨大代价。当晚74师攻占杨庄和码头，逼近淮阴。
16日，为确保淮阴，谭震林下令扒开运河大堤，放水迟滞74师的攻击。
17日，战况更为激烈，74师在炮火和飞机助战下，连续组织5次猛攻，解放军集中所有兵力火力全力抗击，但第一道防线仍被突破。
18日张灵甫亲临一线督战，并于午夜发起猛攻，74师派出2个连从9纵与5旅的结合部成功突破，根据俘虏供述的口令诈开淮阴南门，进城后立即抢占有利地形建立阵地，74师主力随即从正面猛攻。解放军5旅在敌前后夹击下，被迫放弃阵地，解放军组织皮旅和9纵预备队实施