吴佩孚图谋东山再起之心不死。在白帝城他表面上喝酒赋诗，哀叹自己的失败，并不得不发出通电，声明今后“政治於否均非我知。”暗地里却另有打算，整日与亲信幕僚密议国内形势，策划于密室，并拟出一个东山再起的“计划”。不久，他在白帝城打出“孚威上将军”的旗号，搭起了“大帅行辕”的架子。这时，吴佩孚加紧勾结四川有旧交的军阀，向他们索取金钱和物质方面的馈赠，还不断派人出省，暗中联络原部下将领。在多方游说和四处拉拢下，他的残兵败将相继尾随而来，结果，竟先后收容了二千多人。流亡的靳云鹗派遣亲信前来，表示自己带领的三万人民愿听从吴的调遣，在北方统治已摇摇欲坠的张作霖，也命张作相代为转告：“公能督率川军，早日出征，则得之也。”表示了愿与吴佩孚再度合作，共挽危局的愿望。吴佩孚入川托庇杨森意欲再起的野心，势必引起蒋介石的南京国民党政府的反对。汪精卫“七·一五”反革命政变后，由于国民党政府各政治集团的争权夺利，蒋、汪之间尚未合流，双方正各自加紧抢夺地盘，扩大势力。此时，四川各派军阀虽然名义上都已投靠南京国民党政府，但是实际上仍各自为政，独霸一方。蒋介石早已垂涎“天府之国”，只是力量有限，一时不能控制，现在吴佩孚人川，更使他担心四川因此而“独立”。于是蒋介石施用各种手段，来驱逐吴佩孚出川。首先，蒋介石从四川内部来发起讨吴活动。1927年8月20日，中国国民党四川旅沪同志会首先发出通电，声讨吴佩孚。随后，成都又举行了颇有声势的“四川各界民众讨吴大会”，宣布吴佩孚历年祸国殃民罪恶三十条，“共讨吴逆”。其次，蒋介石设下调虎离山计，决定调杨森部队到湖北讨伐唐生智，以削弱吴佩孚所依托的杨森的实力，使吴佩孚在四川孤立无靠，难以立足。12月，吴佩孚唆使杨森与武汉的唐生智联合攻蒋的阴谋败露，蒋介石干脆以南京政府名义，公布吴佩孚祸国殃民的事实，发出通缉吴佩孚的命令，要求四川军阀协助捉拿归案。
吴佩孚为在四川有个立足之地，在与杨森共谋下，一出“缴械共管”的假戏有声有色地演出了。杨森先在万县“一本正经”地对外发表谈话，宣布“将其所有少数卫队武装解除”。接着，吴佩孚就在白帝城煞有其事地交出一批枪支弹药，遣散卫队中一些老弱残兵。并乘船移驻万县。吴佩孚演的这出戏，似乎告知人们：“这确实可以证明我是无政治野心的了。”实际上，吴佩孚何曾放下过屠刀？杨森何曾收缴他的卫队枪械和监管他的行动？他只是掩人耳目，平息风波，取得立足之地罢了。可是没住上十几天，他就感到此地不能久留，因为万县地处川鄂交界，交通方便，蒋介石军队如入川捉拿，会缚手被擒。于是，他又借口“解除东道主困难”，率残部离万县北去，逃遁到四川腹地，选择离城三十里的云雾山笠竹寺，搭起了“讨贼联军总部”的空架子。在深山古寺中，吴佩孚整日与跟随的僚属高谈阔论，窥测方向，慨叹国事非我不可为，自喜可以乘乱世，以杨森部队为依托，以巴蜀天险为根据，图谋东山再起。他把云雾山看成了当年的鸡公山，重温旧梦。
但是，吴佩孚和杨森的机谋既露，蒋氏所给予的压力也接踵而来。1928年4月，蒋冯阎桂等新军阀，取得了暂时妥协后，开始全力向北进军，讨伐张作霖。在这样情况下，蒋介石为控制四川，采用“分而治之”，维持四川军阀内部不统一的策略。可是，吴佩孚在四川拉拢军阀，结纳旧部，密谋串联，使蒋介石感到这是他控制四川的最大威胁，必须予以翦除。5月，在蒋介石的笼络和策动下，与吴佩孚有“袍泽之交”的邓锡侯，指使其师长罗泽洲，包围笠竹寺，向吴佩孚发出了解除其卫队武装的最后通牒。这突如其来的行动对吴佩孚打击甚深，赤手空拳的吴佩孚只得又发出了愿为“太平之民”的哀鸣。
1930年秋，中原大地风云飘零，蒋、桂、冯、阎的中原大战正在策划之中。野心勃勃的吴佩孚不甘老死林泉，乘机又跃跃欲试。他招揽了一批失意军人、政客，扩充了武装，联络了各方势力，又准备出川“调解”政争了。然而，蒋介石指使四川军阀刘湘派兵阻拦，只许吴佩孚一人经过，随同人员一律不得同行。吴佩孚刚刚举起的“孚威上将军”的“帅”旗未满一天，颓然倒下。1931年7月，吴佩孚借游览山水之名，悄然离开成都，而后进入西北。他宣称，他与国民党是“鸟兽不可与同群”，准备招抚旧部，以图东山再起。然而，正如冯玉祥一针见血地指出：“吴佩孚到哪里，即可能把蒋介石的部队引到哪里。”12月，蒋介石密令杨虎城进入甘肃“驱吴”，吴佩孚又狼狈逃窜。
1931年底，吴佩孚辗转逃至北平，寄居于“世侄”张学良之下，企图寻求张的支持。张学良对这位老世伯毕恭毕敬，安排了东四什锦花园胡同的大宅院为其寓所，每月送上四千元，然而见面却绝不谈国家大事。吴佩孚对张学良这种“敬鬼神而远之”的作法大失所望，说：“张学良这小子没出息，忘记了自己的国仇家恨，真是不忠不孝。”发牢骚之余却无可奈何，每日在家与手下仅有的“八大处”属员讲