已“在日军监督下组织御用政府之形成，到底不如老蒋在支那大众特别是中青年层中得人心。”吴佩孚的这种态度，使日本当局对他逐渐失去了兴趣和热情。
然而，吴佩孚的“学生”川本，仍不愿罢休。他怂恿日本侵华派遣军总参谋长板垣征四郎出面，拜会了吴佩孚，再一次劝诱“汪吴合作”，共筹“新生之政权”，使“中日战争的和平解决”。可是，吴佩孚却强硬地回答：“日本既需要和平，何不先行撤兵，向国民政府请和？若办不到，何必找我！”吴佩孚的态度既然如此强硬，日本终于决定选择汪精卫而抛弃吴佩孚。日本帝国主义在侵华战争初期，把促使吴佩孚的“出山”看作是日本开展“和平运动”的头等大事。这项工作使日本当局花费了巨大的人力和物力，耗资3千万巨款，然而，到头来却是一无所得。日本当局对“吴佩孚工作”中止后，以前冠盖如云、车水马龙的吴公馆，又变得门庭冷落了。此时，吴佩孚已清楚地知道，自己最后东山再起的希望，已从“吴有办法”变成了“无有办法”，只能闭门喝酒赋诗打发日子了。
1939年11月24日，吴佩孚吃午饭时，饺子馅里肉骨头渣子正好嵌入左边一只镶有金牙套槽牙的牙缝里，疼痛难忍。家人急忙请医院里牙医来寓诊治。医院派来的牙医是日本人伊东，当场就替吴佩孚拔去了这棵槽牙。但到第二天，吴佩孚牙疼不见好转，而且左颚高肿，浑身忽冷忽热。家人又从天津请来中医郭眉臣来诊治。吴服用了几剂汤药后仍不见效。以后又遍请名医诊治，可是吴佩孚左颚肿痛越来越剧，甚至连粥和水都难以下咽，渐渐地两腮尽肿，喉头发炎，神情也恍惚了。12月4日下午3时，“学生”川本芳太郎携领日本军医寺田及护士，由华北大汉奸齐燮元陪同来到吴宅。寺田稍作检查后，告诉川本这病非动手术去脓不可。川本不征求陪伴在一边的吴佩孚老婆和儿子的意见，竟自作主张地立即要寺田给吴佩孚动手术。齐燮元也在旁极力“劝慰”吴的家属，要他们放心。3时45分，对吴佩孚施行手术。但手术后，吴佩孚一直处于昏迷状态，当晚就断了气。
精明过人的吴大帅死得却不明不白，当时各方面传说纷坛。日本当局宣称：重庆方面害怕吴佩孚“出山”，于是收买人设谋毒杀；重庆国民党政府则宣言：“吴佩孚将军之死，据各方调查，得悉吴并非因病致死，确系敌威胁利诱，迫其发表拥护新政府宣布，被吴拒绝，乘吴牙疾就医致死。”不管怎样，叱咤风云的吴佩孚的结局令人感慨万端。
不过，长于卜卦算命的吴佩孚怎么也不会料到自己死后会这么热闹。国民党《中央日报》予以头版大标题报导。蒋介石亲发唁电，表彰吴佩孚“精忠许国”、“大义炳耀”。而后，国民党行政、立法、监察三院院长和政府各部部长也纷纷致电哀悼，吹捧其“大节凛然，数年如一日”，“足为我国军人之模范”，“可为中国旧军人最后一个典型。”几天后，国民党最高国防委员会和政府分别决议，追赠吴佩孚为一级上将，其生平事迹，“存备宣付史馆。”
与此同时，日本侵略者和汉奸政府也在北平大祭吴佩孚。头号汉奸汪精卫致电表示“哀悼良深”。华北汉奸政府连夜下令：二日之内，所有各省市一律下半旗志哀，由伪治安部总长齐燮元主持治丧处，拨款二万元。只见吴佩孚宅前，车马络绎，喧闹一时。
吴佩孚一生罪孽深重，给人民带来巨大痛苦和灾难，然而他与其他军阀如段祺瑞、曹锟、张作霖相比，多少有些不同。董必武曾对他作过分析：“吴佩孚虽然也是一个军阀，他有两点却和其他的军阀截然不同，第一，他生平崇拜我国历史上伟大的人物是关、岳，他在失败时，也不出洋，不居租界自失。……第二，吴氏做官数十年，统治过几省的地盘，带领过几十万大兵，他没有私蓄，也没置田产，有清廉名，比较他同当时的那些军阀腰缠千百万，总算难能可贵。”