持国共合作局面。他对蒋则说：“介石，这一回东南与武汉开战，如果你失败了，我们国民党必就此消灭，共产党必就此起来；如果你胜利了，国民党就要恢复到民国十三年以前的状况，……无论右派的军队，左派的党员，一定不会同你蒋介石合作，你在党里的生命怕要从此消灭。”
4月2日，上海中央监委蔡元培、吴稚晖、张静江、陈果夫兄弟、李煜瀛、李宗仁、黄绍竑等8人，也于当日在上海开会，由吴稚晖提出指控中共“亡党卖国”的报告，力主断然“清党”。他说：“将来中国果为共产党所盗窃，岂能逃苏俄直接之支配。”上呈中央执行委员会和蒋介石。
当时李济深、黄绍竑、白崇禧均先后发言，支持吴稚晖的报告，主张“清党”。李济深说：如果现在不清党，彭湃的农民运动会使“广东的局面……无法维持……”。
当日，蒋即答复吴稚晖请求“清党”的报告，并决定照办，但仍需电呈中央执委会全体公议共同处分。武汉中执委会当然不会通过，但蒋则不管这一切而一意“清党”，并立即将不稳各师调离上海。
蒋于4月3日在欢迎汪归国的欢迎词中表示拥护汪领导党政军一切，军政、民政、财政、外交均听汪精卫指导。蒋还特别劝汪不要到武汉去。他对汪说：“你如果真正为本党，那就要到南京去，然后再请武汉一般中央执行委员过来。如果你到武汉去，你还是要作本党的罪人。”蒋是想利用汪精卫将武汉中央委员拉过来，使他的未来政府合法化。
但汪因为忌恨蒋的“三·二○”政变，无论如何不肯与蒋合作，决心到武汉主持工作，然后慢慢排除中共势力，独握中枢再伺机与蒋决战。这是汪的心计，并未形诸于口、笔。以至于吴稚晖急得跪在汪面前，求汪留在南京。汪见吴跪，吓得赶紧避开，嘴里还不住地说：“稚老，你是老前辈，这样来，我受不了，我受不了！”会场非常紧张，而又令人啼笑皆非。汪始终不肯留在南京。
4月5日，正当汪与各中央监委开会时，报纸忽然登出《国共两党领袖汪兆铭、陈独秀联合宣言》。该宣言表示国共两党合作到底，绝不受人离间、中伤。此宣言一出，与会人士大哗，吴稚晖尤其气愤，当面挖苦汪以党魁自居，无人认可，也无此资格，说得汪极为难堪！汪氏至此，惟有赴武汉一途，遂赴武汉，出任国民政府主席。
4月7日，武汉召开紧急会议，鲍罗廷主张先进驻南京，以南京为首都。但蒋介石已于4月9日抢先人驻南京。蒋又先了一步。同日，白崇禧任上海戒严司令；李济深、黄绍竑电粤、桂两省实行“清党”，屠杀共产党员。
与此同时，南京中共党组织则于4月10日召开南京市民肃清反动分子大会，决议将反动分子交人民审判。会后，到蒋的总部请愿。
这几天，蒋在读曾国藩著作，当他读到“谤怨沸腾，万口嘲讥”时，十分动情，大有古今同叹之慨。
蒋于11日，断然下令全国开始“清党”。12日上午，上海在白崇禧指挥下，开始解散工人纠察队，搜查工人俱乐部等，并逮捕和枪杀共产党员。至13日，数万工人为此进行抗议游行。当大队到达宝山路时，周凤歧第二十六军第二师，突然用机枪向游行队伍扫射，当场打死三四百人，伤者无数。两广、浙、闽、苏、皖、湘、鄂等省也开始大量屠杀共产党员，不计其数。
蒋介石对杨虎、陈群说：“凡可以杀的，一律杀，宁可错杀，不可错放。”这就是“四·一二”大屠杀。至此，蒋已完全和武汉中央决裂，走上公开反共道路。
武汉中央于14日向全世界发出通电，指出：“蒋介石的叛国行为已暴露无遗，吾人要求全党同志，组织联合阵线，进行对抗叛国者。”同日，南京国民党召开南京二届四中全会，不承认武汉中委会。
蒋既已和武汉中央决裂，就径直组建南京政府。4月17日，蒋召开中央政治会议，议决改国都为南京。18日，南京国民政府正式成立并办公，声明“取消武汉中央党部和武汉国民政府”。选举胡汉民为南京国府主席。军委会和总政治部也相继成立。蒋仍任国民革命军总司令，吴稚晖任总政治部主任，陈铭枢任副主任。
17日，武汉中央开除蒋的党籍，罢免其一切职务，并对蒋明令通缉，18日，南京政府则通缉鲍罗廷和197名中共党人。
这时的南京政府，仍是不合法的，因为中央执行委员远不到三分之一的数目，实质上是个军人政府。
在南京政府成立大典上，蒋说中共是钻进铁扇公主肚子里的孙悟空，不将其消灭，就必将自取灭亡，受治于异族；并指责苏联为赤色帝国主义者；英美为白色帝国主义者。