吴佩孚喘息未几，肘腋之患又起。从前巴结吴佩孚的陕西督理刘镇华，乘国民军进入河南连连告捷之机，唆使其部下，东出潼关，进军洛阳，谋取地盘。守备洛阳的官兵，都是刚招募的新兵，未战先溃。吴佩孚在无兵可防的情况下，只得匆匆乘车出逃，准备到萧耀南处避难。不料，逃难的火车尚在河南省内行进时，吴佩孚就先后收到萧耀南和湖北省议会几次发来的急电，婉拒他进入湖北，逼得吴佩孚只得带领一班人马停留在鸡公山避难。鸡公山的鸟语泉声使人有脱俗之想，但给他带来的却是孤独凄苦之感，发出“人海茫茫，究竟何处是安身立命之所？”的哀叹。然而，在北京的段祺瑞执政府发出了一道接一道的“逮捕吴佩孚解京治罪”的通令，国民军又攻至鸡公山附近，吴佩孚要想赖在鸡公山不走是不行的了，只得再次出逃避难。最后逃往自认为“发祥之地”的岳阳，托庇于赵恒惕。
“北京政变”后，冯玉祥在与奉张争夺北京政府控制权中失败，宣布辞职出洋游历。张作霖在控制北京政权的同时，调动大批奉军进入关内抢夺地盘。奉系妄图将其势力伸向全国的野心，使各省军阀人人自危，而首当其冲的则是冯玉祥和孙传芳。冯、孙二人在“抗奉自保”的一致目标下，很快不谋而合，两人结为“金兰之好”，相约南北两路同时出兵夹攻奉军。另外，他们都认为长江中下游吴佩孚尚有一定的影响和潜在势力，如能拉吴出来，既易于号召，又便于发动，因此各派代表穿梭来往于岳阳、张家口、杭州之间，相商共同出兵讨奉之事。
冯、孙的联合抗奉，为吴佩孚“出山”提供了机会。吴佩孚岂能放过这重振军威的时机，他立即见风使舵，一变过去“讨冯”为“讨奉”，采取“联孙和冯”的策略，暂时迎合冯、孙主张，趁机借势而起。1925年10月15日，孙传芳以反对奉军压迫上海工人运动为名，通电讨伐奉系，兵分五路向奉军猛攻。浙奉战争爆发，吴佩孚趁势宣布出山，在汉口挂出了“讨贼联军总司令部”的招牌。而此时在吴佩孚心中，第一个敌人实际上还是冯玉祥，只是现在大势所趋，暂时收起“讨冯”的招牌，挂上一块可“讨冯”、可“讨奉”的模棱两可的“讨贼”招牌。
浙奉战争一开始，奉军就败退出南京。此时由于奉系军阀在各地的暴行和军阀混战带来的灾难，一个全国规模的反奉运动掀起了。在全国反奉运动高涨的影响下，奉军将领郭松龄秘密和冯玉祥取得联系，在滦州倒戈，转过头向张作霖发起进攻。最初，郭松龄的军队攻势甚盛，直趋关外，沈阳也危在旦夕。后来，张作霖在日本帝国主义直接出兵援助下，改变了其“下野亦可”的颓势，致使郭松龄兵败身亡。郭松龄倒奉虽然失败了，但是在军事上严重地削弱了张作霖的实力，使冯玉祥的国民军占领直隶全境，与国民军占领的河南地区联系一片。
国民军地区的扩大，引起奉张与直吴的恐惧，他们共同勾结起来对付冯玉祥。早在第二次直奉战争结束时，张作霖就派遣密使到鸡公山，对吴佩孚说：直奉战争的结果，是“鹬蚌相争，渔翁得利”，如果张、吴能联合起来，那就“天下无敌”。郭松龄事件之后，张作霖死里逃生，对冯玉祥恨之入骨，特别害怕国民军在北方的发展，想与吴佩孚联合，以共同进攻国民军。经过在前线的张宗昌与靳云鹗的往返传话，张作霖与吴佩孚日渐接近。1925年12月，张、吴代表会晤于大连，“大体取得了谅解”。次年，又商定了联合的条件。就这样，过去两个敌对的军阀，今日为了反对冯玉祥的国民军，又联合起来了。
1926年1月21日，吴佩孚正式通电宣布“讨冯”，并命令冠英杰率军进入河南。与此同时，张作霖也借进攻郭松龄残部为名，向关内进犯。这时，吴佩孚的“讨贼联军”总司令不变，只是“贼”的含意已明显由“奉”变为“冯”了。在奉直的联合夹攻下，国民军第二军几乎全部崩溃，岳维峻逃入山西。
河南的岳维峻被赶走，湖北的萧耀南又患心脏病去世，此时的吴佩孚又是踌躇满志，野心勃勃了。他洋洋得意地对部下大谈其“循环理”，意思是说，事情的发展总是周而复始的，他吴佩孚从今又会由失败走上中兴。可是，他哪里知道，他今日的再起就是明日的再败，而且是彻底的失败。
国民军退出北京后，段祺瑞被逐下台，北京陷于无政府状态。吴佩孚抓住机会，急忙着手进行所谓恢复“法统”和组织政府的工作。吴佩孚深知自己在北方的军事实力远不及张作霖，只有从政治上加速进攻，耍些花样，用护宪来恢复颜惠庆内阁与国会，才能争得北京政权，控制大局。岂知“绿林”出身的张作霖也已懂得“智深须有忍，将勇贵能谋”，吴佩孚提出起用原曹锟手下的总理颜惠庆出来“摄政”，遭到张作霖的坚决反对，并针锋相对地借“贿选”大做文章，要求恢复约法，召集国会，甚至提出了重新组阁的人选。为此，双方争持不下。尽管吴、张双方存在着若干无法解决的矛盾，但当时的形势是：南方的广东革命根据地日趋巩固，北伐战争正在准备之中；北方的国民军虽败退，实力并没有消灭，冯玉祥虽暂时宣布下野，