面对各种矛盾，蒋介石陷入无可奈何花落去的境地，但他又不愿就此甘休，他要战胜各种对手，以窃取国民革命的最高权力。经过一番考虑，蒋介石决定重施以前那种以退为进的伎俩，想以辞职、出国相威胁，来达到自己的目的。1926年2月1日，国民党军事委员会任命蒋介石为“国民革命军总监”，蒋则于8日表示不就职，9日，更呈请辞去“军事委员会委员”及“广州卫戍司令”两职，要求赴俄休养，企图以此要挟汪精卫，使汪不好下台。汪精卫十分清楚蒋介石的用心，对他的辞职，不予明确答复，只是例行公事式地劝他“不宜辞职”，并不坚持挽留，这样一来，倒使蒋介石去之不可，留也无益，陷入十分尴尬的境地，回来后，蒋介石在日记里写道：“顷聆季新（指汪精卫）言，有讽余离粤语，其受谗已深，无法自解，可奈何！”至此，蒋介石确信，汪精卫在共产党和苏联顾问支持下，要除掉自己。经过再三考虑，他决定还是离开广州。
蒋介石即命陈立夫购买了日轮庐山丸的船票，并携带现款3万元，坐汽车到天字码头，准备乘船离开广州，先到香港，再由香港搭船去海参崴。
3月19日，蒋介石收拾行装，带着陈立夫，满心不快地乘车前往广州长堤码头。一路上，蒋介石沉闷着脸，默不作声，陈立夫也不好说什么，当时的心情，按陈立夫后来的回忆说，刚开始，他想到放弃工程师的职业，到广州帮蒋介石，实践总理计划，是间接达到自己的志愿，但几个月的政治实践，“使我大失所望，政治原来是这样污秽”，后来又想，既然搞了政治，再污秽也不能放弃，要坚持干。因此，当车快要到码头时，陈立夫忍不住问蒋介石：“校长，为什么我们一定得走？军事权在校长掌握之中，为什么我们不干一下？”
蒋介石听后，似有所悟，即命司机掉转车头，开回寓所。但当车往回开了一会的时候，蒋介石又变了卦，吩咐司机再转头，重新开往码头。陈立夫没有蒋介石考虑的那么复杂，他只觉得干政治，就不蒋介石一副万水千山胸中握的姿态，开采他的“革命之矿”，却是对内的派系斗争，对外的一致“反共”。能轻易放弃，于是又鼓足勇气，劝蒋介石道：“我们如果走了，总理所交给校长的任务将由谁来担负呢？”蒋介石听了沉吟不语，想了又想，最后下了决心，压低声音对司机说：“开回东山公馆。”对这件事，陈立夫本人后来在国民党上海市党部一次演说时也承认，当时，“在车上他劝蒋先生干，有兵为什么不干？汽车到了码头，蒋先生幡然下决心，重新回到家中发动三月二十日之变”。对于陈立夫这个说法，虽然蒋介石后来否认，说陈立夫是小孩子，不懂事，但这个事实是存在的。当时广州城内由国民党右派传出的一些谣言，也有所谓要将蒋介石和陈立夫劫往海参崴的内容，而且说已经为他们二人准备了前往苏联的护照，陈立夫早就将自己绑在了蒋介石的战车上，他开始仇视共产党，在这种心理的支配下，他的话便具有强烈的煽动性，因此，在蒋介石去留广州的关键时刻，陈立夫显然起了十分重要的作用。
蒋介石与陈立夫回到黄埔后，即由陈立夫出面通知王伯龄、陈肇英、欧阳格、吴铁城等人来黄埔开会，进行秘密策划。这一期间，蒋介石多次召开秘密会议，陈立夫作为机要秘书是每会必与。通过反复密商后，他们一致决定采取反共的行动，并估计了驻广东的国民革命军第三、四、五军部分官兵对事变可能采取的态度。3月17日，陈立夫又随蒋介石由黄埔乘汽艇到广州市东堤八旗会馆——广州卫戍司令部，放出共产党有阴谋的空气，并将其在广州东山的寓所迁到有坚固工事的广州造币厂。
3月18日，欧阳格以黄埔军校驻省办事处的名义，传达一道命令给海军局代理局长李之龙（当时为共产党员），称：“转奉校长命令，着即通知海军局迅速派得力舰二艘，开赴黄埔，听候差遣。”李之龙即派中山、宝璧二舰前往。19日到达黄埔后，蒋介石声称无此命令，陈立夫、陈肇英等人即大造谣言，说李之龙“事前并备就蒋校长和陈立夫同志的出国赴俄护照。是日下午，该舰又开赴省城，并即升火，拟于翌晨强迫蒋、陈两同志上舰出海。”并倒打一耙，说中山舰“无故移动”，是“不法行动”，“显系共产党阴谋暴动”。
还在3月19日上午，蒋介石拜访汪精卫，摸清了汪的政治态度，回来后即召开紧急会议，“夕与干部密议至4时”，陈立夫参加了这个秘密会议，并在会上鼓动蒋介石采取行动，对共产党进行突然袭击，这就使蒋介石下定了反共决心。蒋认为“……今日若无决心，岂能挽救本党……”，有人提出怕舆论谴责，陈立夫当即驳斥，认为不必顾忌，蒋便说：“政治生活，全系权谋，至于道义，则不可复问矣。”于是，蒋介石便诬指“共产党阴谋暴动，要推翻政府”，并以此为借口，宣布戒严。
3月20日凌晨，李之龙在广州文德楼家中被绑架，第一军中的共产党员被扣留，蒋介石还派兵包围了苏联顾问团和省港罢工委员会，收缴了两处卫队的枪械。霎时间，广州城里，一片恐怖气氛，这就是蒋介石一手制造的