陈立夫接受任务后，可以说是喜忧参半，喜的是蒋介石将这样重大的使命交给他，说明他在国民党中的作用已非他人可以取代了，想来真有点受宠若惊；忧的是此去责任重大，不知能否成功归来，想来又有点惶恐不安。但事已至此，还得努力去做，能否成功，只得听天由命了。陈立夫迅速做好了一切准备，再次晋见蒋介石，在聆听了蒋的训示后，便打点行装，启程赴苏。
1935年12月24日，陈立夫化名李辅臣，从南京乘车到上海，在上海秘密登上了一艘名为朴次丹号的德国邮船，他准备先到德国柏林，再从柏林转赴莫斯科。与他随行的是特工总部的设计委员会主任张冲，他化名江融清；另外还有新任驻德国大使程天放及随员。邮船离开上海码头后，很快便驶入辽阔的大海，海面上一碧万顷，不时有海鸥掠浪而过，陈立夫此时无心欣赏海上壮观的景色，他望着水天交接的远方，深深思考着很多问题。他想，到莫斯科后，将与斯大林谈判，斯大林的性格、品质会是怎样的呢？自己将如何进行这场谈判呢？如果谈判成功，签订了军事协定，将会开创一个新的局面。倘若谈判失败，后果会如何呢？想到这里，陈立夫顿时感到肩上任务的沉重，他的内心，也如这大海一样，蕴藏着不可估测的种种神秘。
由于同船还有电雷学校20多名学生准备赴德进修，他们不久前都听过陈立夫的演讲，因此，陈立夫不得不尽量做到保密。船每到一个检查站，旅客必须到甲板上接受检查，这时，陈立夫便戴上大墨镜，以免被人识出。平时，便蛰居舱房，托词有病不出门，饮食用品一律送到房中。
船到法国马赛时，上岸很麻烦，在检查护照时，全都集合在一个大厅中。于是陈立夫便要张冲先去，到最后一名时他才去，这时检查人员也很疲困，得以安全过关。然后，他们托船上茶房代为找了一家旅社，稍事休息后，到了晚上，便乘火车去了柏林。
陈立夫到了柏林后，与张冲住进市中心一家出租房间，这儿离中国大使馆较近，程天放则去大使馆就职，陈与蒋介石来往电报由程天放负责。当时，希特勒当政，正处于权力顶峰，大街小巷特工密布，气氛十分紧张。蒋介石要求陈立夫在柏林静等行止，何时进入俄罗斯，要根据形势演变决定。由于陈立夫此行是秘密的，他与张冲不能公开活动，一般情况下都闭门不出。他只是希望尽快得到蒋介石的指令，好尽快东行，但天天盼望，都无消息，只能在惶惶等待中消磨时光。
后来，终于得到蒋介石的指示，说是到俄国“为时尚早，可先到法国、瑞士、意大利一行”。于是，陈立夫与张冲便遵嘱前往这些地方旅行，为了避人耳目，每到一地，都住最贵的旅社，因为这类旅社，一般中国人是不去的。他们白天蛰伏，晚上出来逛夜总会、看电影，打发时光。
陈立夫在出国时，为恐走漏消息，曾写了十几封亲笔信，嘱夫人孙禄卿隔几天便从杭州发往南京，告诉亲友与相关人士，说他在杭州有病休养，所以报端没登载陈立夫出席国内一些会议的消息，虽有种种猜测，但很快释疑。
日本方面不知怎么探知蛛丝马迹，不久便放出试探的谣言，说蒋介石派陈立夫赴苏俄，将与苏俄联合对日等。苏联听此消息后十分害怕，恐轴心国因此而联手制俄，因此对陈立夫赴俄不再热心。
在此情况下，蒋介石对中苏关系作了错误的分析，他认为：“日俄两国对我中国，有一相同的企图，就是迫使我们中国脱离西方，尤其对美关系，而陷入孤立地位，只有听任他们的宰割。日俄两国……为了共同对付西方尤其是美国，亦可以瓜分中国为条件，而互谋妥协。”基于这种错误的分析，蒋介石认为直接与苏联进行高级会谈的时机尚未成熟，如果匆匆行事，到时机密泄露，将使中国陷于难堪境地，因此，急令陈立夫取消赴苏计划，迅速返国，不得有误。
一个政府若只能用镇压人民的力量表达到统一或拥护，那它的结局只能是被人民的力量打垮。当时，陈立夫正在匈牙利旅行，中国驻土耳其大使贺耀祖专程到匈牙利，传达蒋介石指令说：“现在情势不佳，风闻日本已推测蒋委员长派陈立夫到苏俄去，苏俄获此甚感不安，深恐引起轴心国家对苏俄发动战争，故蒋委员长已令我转告不必去苏俄了。”
陈立夫接电后，感到十分意外，他还不知个中底细，当然更不知道蒋介石的用心何在，他只知道服从命令，这是他跟随蒋介石多年所形成的习惯。因此，他接到密令后，二话没说，即收拾行李，与张冲一道，踏上了返国的旅程。
关于陈立夫这次中途而返的莫斯科之行，有的外国学者提出相反的看法，他们认为，陈立夫到过莫斯科，并与苏联党政领导人进行过会谈。如美国学者约翰·W.加佛在他的《第二次国共合作的由来：共产国际与中国共产党》一文中这样写道：“陈在柏林待了两个月后，取道莫斯科回国，虽然陈在莫斯科逗留了几个星期，但斯大林既不愿见他，亦不愿向其他中国外交官表达他对中苏关系的意见，苏联领导人的确对中国使苏日陷入麻烦的计划有疑虑。斯大林与蒋均希望利用