1940年5月7日拂晓，张自忠东渡襄河，率部北进。在日军集结重兵南下时，我方主力本应暂时规避，寻机集中力量分别围歼来犯之敌。但是，蒋介石被日方的假情报迷惑，错误判断形势，下令第五战区部队同时围歼南北两路日军。虽然张自忠在河东的部队只有五个师二万余人，兵力仅及对方一半，但军人以服从命令为天职，他立即根据自身情况调整部署。然而不幸的是，张自忠的电报密码被日军截获破译，他的军事部署已完全被敌方掌握。日军当即调集两个师团另加四个大队奔袭而来。1940年5月14日，双方发生遭遇战。15日，张自忠率领的1500余人被近6000名日寇包围在南瓜店以北的沟沿里村。当日上午，日军发动进攻。敌我力量极其悬殊，战斗异常惨烈。至下午三时，张自忠身边士兵已大部阵亡，他本人也被炮弹炸伤右腿。此时，他已撤至杏仁山，与剩下的十几名卫士奋勇抵抗，竟将蜂拥而至的日军阻于山下达两个多小时。激战到16日佛晓，张自忠部被迫退入南瓜店十里长山。日军在飞机大炮的掩护下，向中国军队的阵地发起猛攻。一昼夜发动9次冲锋。张自忠所部伤亡人员急剧上升，战况空前激烈。
1940年5月16日一天之内，张自忠自晨至午，一直疾呼督战，午时他左臂中弹仍坚持指挥作战。到下午2时，张自忠手下只剩下数百官兵，他将自己的卫队悉数调去前方增援，身边只剩下高级参谋张敬和副官马孝堂等8人。
不久，大群日兵已冲到面前。根据日方资料，日军第四队一等兵藤冈是第一个冲到近前的。突然，从血泊中站起来一个身材高大的军官，他那威严的目光竟然使藤冈立即止步，惊愕地愣在那里。冲在后面的第三中队长堂野随即开枪，子弹打中了那军官的头部，但他仍然没有倒下!清醒过来的藤冈端起刺刀，拚尽全身力气猛然刺去，那军官的高大身躯终于轰然倒地。这时是1940年5月16日下午4时。
张自忠战死后，日本人发现张将军遗体，审认无讹，一起膜拜，用上好木盛殓，并竖木牌。并全军向他行礼，甚至在他的遗体运回后方之时，日军收到消息便下令停止空军的空袭一日，避免伤到张自忠的忠骸。可见，张自忠将军在对日抗战所展现军人武德，连当时崇尚军国主义的日军都为之感动。
当天深夜，日军设在汉口的广播电台中断正常广播，插播了张自忠阵亡的消息，并称：“我皇军第三十九师团官兵在荒凉的战场上，对壮烈战死的绝代勇将，奉上了最虔诚的崇敬的默祷，并将遗骸庄重收殓入棺，拟用专机运送汉口。”
日军对张自忠将军表现了极大的崇敬，由军医用酒精仔细清洗遗体，并包扎好伤口，郑重装殓，放进赶制的棺材里。此棺被葬于一处山坡上，并立墓碑，上书：“支那大将张自忠之墓”。
事隔十六年之后，1956年冈村宁次在日本东京与来访的何应钦曾谈到了张自忠之死，冈村宁次说：“我们成了冤家对头，不过这种冤家对头其妙无比。您也许知道，我以前在北平认识了张自忠司令官，而在进攻汉口之后，不幸得很，我们在汉水(即襄河)东岸之战两相对峙下来。那个时候战事爆发，张先生勇往直前，挥兵渡河，进入我方阵地，惟遇我方因战略关系向前进击，他竟冲至我军后面战死。他之死令我感慨无量，因我本身也随时有阵亡的危险。”
张自忠殉国当日，由38师师长黄维刚带领敢死队，端着轻机枪于16日夜间突袭南瓜店，奋勇抢回了张自忠的遗骸。黄师长光着膀子，穿着裤衩，带着弟兄们光着脚丫顶着鬼子的炮弹朝前冲，几进几出终于抢回了张将军的遗体。日军则下令停止飞机轰炸，以免伤到张自忠将军遗体。
张将军的尸骨运回后方后，经检视，张自忠身有八处伤口，其中炮弹伤二处，刺刀伤一处，枪弹伤五处。随后，将军遗体被运往当时的战时首都重庆安葬，路经宜昌时，十万军民恭送灵柩至江岸，其间日机三次飞临宜昌上空，但祭奠的群众却无一人躲避，无一人逃散。
1940年5月28日晨，当灵柩运至重庆朝天门码头，蒋介石、冯玉祥等政府军政要员臂缀黑纱，肃立码头迎灵，并登轮绕棺致哀。蒋介石在船上“抚棺大恸”，令在场者无不动容。
蒋介石亲自扶灵执绋，再拾级而上，护送灵柩穿越重庆全城。国民政府发布国葬令，颁发“荣字第一号”荣哀状。将张自忠牌位入祀忠烈祠，并列首位。28日下午，蒋介石与军政要员和各界群众在储奇门为张自忠举行了盛大隆重的祭奠仪式。气氛庄严，极尽哀荣。蒋介石亲自主祭，同时以军事委员会委员长的名义通电全军，表彰了张自忠一生的勋绩。随后，国民政府在重庆北碚雨台山为张自忠举行下葬仪式。蒋介石题词“勋烈常昭”，李宗仁题词“英风不泯”，冯玉祥题词“荩忱不死”。
是时在老河口的李宗仁长叹，如果何基沣在，不会有襄河之败，张自忠不会阵亡。护送灵柩的59军官兵沉痛地对何基沣说：“要是你当时能在军中，兵力不会那样部署，张总司令和59军不会孤立无援，张总司令不会阵亡。”