方案”，冀图取得蒋介石的重视，不意却遭到政学系吴鼎昌反对，更被蒋介石认为是“不务正业”，同时也为二陈所弃，认为徐恩曾的举动是离心的表现，有步朱家骅、张厉生后尘之虞（朱、张原属CC系，其后朱投靠了戴季陶，张得到了陈诚的信任，先后当上部长，自立门户，与二陈貌合神离），因此在蒋介石面前不再为他说话。
与此同时，兼任中统局局长的朱家骅与副局长部紫峻联合向蒋介石告了徐恩曾的状，说徐恩曾领导无方，中统内部纪律松弛等。
1943年中统重庆区特务闯进经济部捕人，为翁文灏部长告发，蒋介石非常恼火，认为中统行动粗鲁，不讲究策略，影响了国民党的威信，下令中统今后“不得捕人”，并要求徐恩曾对肇事者撤职查办。这是徐恩曾第一次被蒋介石面斥。
1944年的一次“甲种汇报”中，蒋介石询问河北、山东敌后解放区的情况，徐恩曾由于事前没有准备，说不出所以然来，反之，戴笠却说出了一大套。蒋介石认为徐恩曾不务正业。
《新华日报》在重庆的发行，是蒋介石迫于政治形势而不得不接受的，所以，对《新华日报》的监视、封锁、破坏一直是中统的主要任务。尽管中统采取种种卑劣的手段大加破坏，但始终未能达到目的，《新华日报》不仅在重庆发行市面广，而且送到成都、贵阳等地的时间也较《中央日报》为早。以上诸件事使中统的地位在蒋介石的心目中一落千丈，徐恩曾也失去了蒋的宠爱。蒋将特检处划归军统领导即是一例证。
徐恩曾在受到蒋介石多次面斥后，竭力想恢复中统在蒋介石心中的地位，在中统内部提出“争取时间，追求效果”的口号，要求所有人员做到“一人一事，事事有人管，处处无闲人”，同时还增加了办公时间，原来的8小时改为上午6时至12时、下午1时至5时共10个小时的工作时间。
最初几天，徐本人也准时上下班，并经常在上班后到各办公室巡视一番，然后才回局长办公室处理文件。但积重难返，这种做法为时不长就又自然地回到了过去的状态。
蒋介石免去徐恩曾“本兼各职，永不录用”的手令，是交给当时的中央党部秘书长吴铁城和中央组织部部长陈立夫去执行的。陈立夫当即提议由叶秀峰继任，吴铁城鉴于当时的情况，也只好同意。
1945年2月1日上午9时左右，在重庆川东中统局本部信谊堂，召开了局本部全体工作人员大会。徐恩曾首先介绍叶秀峰与大家见面，然后说了一番话，当说到“与大家共事多年，肝胆相照，甘苦共尝……不忍离别”之时，徐动了感情，会场上不少人泣不成声。
徐恩曾感到再如此下去恐难收场，于是话头一转，提高声音说道：“今天是我们大家大喜的日子，有了秀峰先生的英明领导，今后本局前途无量。”接着叶秀峰简单地说了一些勉励的话，仪式便告结束，徐恩曾乘车离去。
同年3—4月间，徐恩曾接受吴铁城的派遣，以中执委的身份去贵阳视察，并出席贵州省党部“纪念周”，在会上讲了话。蒋介石得知后，不仅批评了吴铁城，还下令吴铁城召回徐恩曾，并说：“今后不许徐恩曾再做任何政治活动。”
5月，国民党第六次全国代表大会在重庆中央训练团大礼堂召开，徐恩曾满怀信心地参加了会议。最后蒋介石以党的总裁身份正式提出六届中委中央执监委员候选人名单时，百分之九十九的五届中执委都列入六届候选人名单，惟徐恩曾不在其列，这时他才感到问题的严重性。
此后，徐恩曾足不出户一月有余。有一次，部下孟真去他家闲坐，他说中国历史上最有名的大特务莫过于武则天时代的周兴和来俊臣，周、来二人都曾出过死力支持武则天执政，当时声势赫赫，名宰相狄仁杰都惧怕他们，他们也都得到武氏的多次赏赐。但是最后的结果，来俊臣奉武氏之命杀了周兴，来本人也为武氏杀了。武氏最后之所以要杀周、来，是因为他俩知道她的隐私太多了。徐恩曾说完后，长长地叹了一口气，又说：“自古大特务都是不得好死的。”同时又很庆幸自己只是被免职，而未送命。
1946年初，徐恩曾举家回上海，住霞飞路逸园新村7号，这是一座相当漂亮的西式洋房，原是敌伪产业，是中统“劫收”而来送给徐恩曾居住的。徐恩曾回上海后，首先便在黄浦滩边麦加利银行租下一间写字间，挂牌“中国机械农垦公司”，接着又利用一批日本籍潜水员，组织了“中国打捞公司”，从此，他弃政经商，大发横财，跻身于上海经济闻人之列。
徐恩曾是不甘寂寞的，他虽被免去“本兼各职”，但依然是“中国电机工程师学会会长”。1947年他利用这一职务当上了伪“国大”代表，希望重新返回政界。三个月后，其妻费侠也通过作弊当上了立法委员。
不久，徐恩曾夫妇双双来到南京，在山西路新住宅区一幢漂亮的临时公馆内接待旧日部属，颇有些得意。
但好景不长，国内形势急转直下，蒋家王朝已面临分崩离析的局面。1949年1月，孟真去上海有事，顺便去看