但仍积极扩充军队，接受苏联援助，并兵分三路与直、奉军队对峙，时时威胁北京政府。对此，吴、张二人从各自所处的地位及利益考虑，决定维持目前的“联合”，并迅速采取共同行动，消灭共同敌人。在双方取得“军事为先，政治缓议”的一致认识后，吴、张终于在组阁问题上达成妥协。事后，吴佩孚曾和向上海《密勒士评论报》主编发表过自我解嘲的谈话，说：“我和奉张就象初婚夫妇一样’，偶然拌几句嘴是免不了的，日子一久，我们的感情就会一天天浓厚起来。”
5月28日，吴佩孚乘坐的列车，在两驾飞机的护送下，抵达北京，与张作霖举行“两巨头会议”。张作霖与吴佩孚互换兰帖，结为兄弟，随即商定一致行动的计策：在联合攻下南口后，吴佩孚向南攻广东革命根据地，张作霖向北进攻北方的国民军，企图南北齐下，共分天下。当晚，吴佩孚就乘车回长辛店，张作霖也回天津。在告别时，张作霖祝吴佩孚“马到成功”，吴佩孚则谦虚道“仗老弟洪福”。这两个军阀异想天开地以为，将来的中国定是他们的天下，而不知乃是各自末日之来临！根据“两巨头会议”商定的军事计划，直奉联军和国民军爆发了争夺南口的战争。本来按照约定，应该由吴佩孚来指挥关内的奉军、直鲁联军和直军各部，攻下南口。吴佩孚在长辛店设立总司令部，亲自指挥南口之战。他满有把握地夸下海口：“旬日攻下南口。”但事与愿违，他所指挥的奉军和直鲁联军迟迟不发动进攻，存心持观望态度；他的一线主力，虽有六个旅的编制，但多由原国民军改编而成，勉强开到前线后，与国民军一接触，就马上溃散。尽管吴佩孚一再下达限期攻下南口的命令，并且用封官许愿的办法来引诱将士，可就是久攻不下。
在南口的争夺战正在紧张时，南方的广东革命政府开始北伐。7月1日，广东国民政府发表了《北伐宣言》；7日，国民革命军正式誓师北伐。而在此前，北伐的先遣队已开赴湖南。巩固北伐的前沿阵地。7月初，北伐军兵分三路进军湖南。在广大工农群众的热情支持下，北伐军一开始就占了优势，吴佩孚的军队被打得节节败退。7月12日，北伐军占领长沙。
这时，吴佩孚陷于南北两线作战、顾此失彼的困境中。直系内部的一些将领认为吴佩孚的老巢在湖北，南重于北，应抽身南下，将进攻南口的指挥权交给奉系。可是，吴佩孚即认为如果自己放弃进攻南口的指挥权，而南下主持湖北的战事，那京汉线北段的地盘，就会被奉军夺去，致使无法继续控制北京政权。因此，他不管南方的告急电报多么频繁，还是咬紧牙关发誓：“南口一日不克，本总司令一日不能南下。”同时，他督促孙传芳出兵，要求唐继尧援助，以缓南方形势。但是孙传芳为了避免卷入漩涡，对湖南战事采取了坐山观虎斗的态度。吴佩孚无可奈何，只得厚着脸皮，派其秘书长同奉军代表协商，表示愿意把北方军事完全交由奉军负责，自己则预备逐步抽出兵力，全力对付南方。从7月19日起，进攻南口的主力和指挥大权遂由奉军方面担任。8月14日，国民军因势单力薄，寡不敌众，被迫放弃南口。
北方的南口战役刚结束，南方战场上吴佩孚的“联军”已无法抵御北伐军势如破竹的攻势。8月22日，北伐军攻克湘北重镇岳阳，打破了吴佩孚固守待援的计划，使革命战争迅速推进到湖北境内。随后，又以风卷残云之势，接连攻克通城、崇阳、蒲圻等县，直逼汀泗桥。吴佩孚接到岳阳守军的十万火急电报后，立即命令齐燮元驻长辛店，行使总司令职权，指挥北方军事，自己则率军星夜南下增援。自此起吴佩孚在北方的势力一落千丈，部队逐渐瓦解。
8月25日，吴佩孚急匆匆赶到武汉，在查家墩司令部发布了“死守河泗桥”的命令。汀泗桥为鄂南第一门户，地势险要，西、南、北三面环水，东面山崖耸立，只有南面有粤汉铁路可通，而铁路桥东，河深难渡，这是一个易守难攻的险要据点。自古以来，汀泗桥是兵家必争之地。为“死守汀泗桥”，吴佩孚迁司令部于贺胜桥，集重兵于河泗桥，企图凭借汀泗桥的天险据守，求得一个暂时喘息的机会。同时，他不断发出电报，急调京汉线各部队星夜驰援。
8月26日，北伐军发起对汀泗桥的总攻击。直军尽力死守，吴佩孚亲率卫队到阵地督战，并组织八个大刀队，分八路监视各军，下令：“退却者，杀无赦！”凡遇临阵退却者，不分官兵，大刀队挥刀便砍。就在那一天，吴佩孚当场处决临阵退缩的中、下级军官达九名之多，因逃退被大刀砍掉脑壳的士兵不计其数。北伐军攻了一昼夜，进展不大。27日拂晓，作为预备队的叶挺独立团，被调来参加战斗。叶挺独立团进入阵地后，从右翼高山往下猛冲，第四军其他部队铁路两侧配合，吴佩孚的军队在夹击下，被打得晕头转向，仓惶溃退。这时候，吴佩孚气得两眼血红，几近疯狂，亲自手持大刀随同大刀队一起举刀飞舞，转眼间砍杀其溃兵一百余人。然而，即使刀光闪闪，人头滚滚，也阻挡不了部下官兵的四散溃逃。当日上午，北伐军占领了汀泗桥，又乘胜追击，拿下了贺胜桥，打开了通向武汉的最后