善本古籍3700多种，共 3.5万册，与全国最为齐备的各地方志2 600多种，共2.5万册，悉数烧毁，这成为张元济一生最大痛事。已65岁高龄的他痛不欲生，但很快振作起来，提出“一息尚存，仍当力图恢复”。半年后，印刷工厂就恢复了正常生产。抗战时期，商务印书馆迁至四川，日军抄走上海工厂里的460万册图书和50吨铅字。张元济留居“孤岛”，拒绝与日本人和汪精卫政府合作，生活窘迫之际，他宁可以卖字为生。某次，有两位日本学者求见，他在对方的名片背后写下八个字：“两国交战，不便接谈”。又一次，汪精卫政府的浙江省长傅式说送来一幅画卷，请他题字，还附有11万元的支票。他退回支票，修书一封曰：“是君为浙省长，祸浙甚深……以是未敢从命。”
新中国成立，张元济受邀参加了开国大典。他跟蔡元培都见过光绪皇帝、袁世凯、孙中山、蒋介石和毛泽东。此时，蔡元培已经在1940年去世了，唯有他身历三朝更迭，目睹五任首脑，无意中留下了一项无人可及的纪录。
张元济逝于1959年8月，时93岁。晚年，有后生问他：“你是文人，还是商人？”张元济面如枯色，不作一语。