，用大军“围剿”而达到消灭共产党的目的，这种办法显然不是上策。在国际上，他认为中国与苏联接壤，应该改善同苏联的关系，建立共同战线，就可以抵御日本的进攻。因此，陈立夫也主张和共产党接触，同苏联接触，在相互接触中改善关系。
1934年年底，陈果夫与陈立夫接受了蒋介石的命令，要他们主持同苏联驻华大使的外交谈判，并寻找同中共接触的契机。当时，陈果夫还在担任江苏省主席，省务繁忙，脱身不得，这项工作实际上是陈立夫一人担当。
陈立夫接受使命后，即参与了与苏联驻华大使鲍格莫洛夫的早期会谈。这种讨论是在极秘密的状态下进行的，因此会谈内容一直没有对外公布。1977年，陈立夫在与一位美国学者交谈时，笼统地透露了一些当年会谈的内容。当时，中国政府和苏联政府虽然开始了接触，实际上还互不信任，各存戒备之心，这种态度也影响了陈立夫和鲍洛莫洛夫的会谈。陈立夫认为，在日本帝国主义侵略中国的关键时刻，莫斯科之所以愿意与南京亲近，主要因素是它害怕中国妥协，与日本携手合作。这样，可能会导致蒋介石答应日军通过内蒙古直达苏联边境，而当时德国也正从西线窥测苏联，那么，苏联将会面临德日两线入侵的威胁。因此，陈立夫在会谈中，既表示愿意与苏联友好，又显露出有恃无恐的态度。而鲍格莫洛夫既担心中国的妥协会导致日军对苏联的进攻，又认为中国国力太弱，以致在日德联合进攻苏联时，对苏联不会提供多少军事帮助。中苏改善关系，结成友好联盟，至多只是有助于防御日德的联合进攻而已，其作用并不是决定性的。因此在会谈中，鲍格莫洛夫一方面表示愿意中苏友了，但另一方面却又表现出不太迫切与不太积极的态度。
由于中苏双方各打各的算盘，这就使得陈立夫与鲍格莫洛夫的秘密会谈虽进行了很多次，却总是没有什么重大突破，双方都小心谨慎，如履薄冰。陈立夫曾经向鲍格莫洛夫提出了一个军事协定，但鲍格莫洛夫却认为这个协定只是对中国有利，苏联所能得到的好处并不多，而且万一协定公开，将会使苏联陷于很危险的境地，因此不肯与中国订立协定，这种讨论持续了半年多时间，还是没有多大进展。
陈立夫不时将会谈情况详细报告蒋介石，苏联的消极态度使蒋介石大为不满，他也不想在中苏会谈中表现得太主动，便指示陈立夫继续与鲍格莫洛夫进行这马拉松式的会谈。但到了1935年，日本加快了侵略中国的步伐，河北事件、张北事件、香河事件等相继发生，中日矛盾进一步激化，形势一天天紧张起来。在这种情况下，蒋介石不安了，他急忙找来陈立夫商量对策，陈立夫提出应该加快对苏交涉的步伐，在短时期内建立中苏合作关系，以便在必要时打出苏联这张牌。蒋介石点头表示赞许，并决定自己亲自出面。
1935年10月18日，由陈立夫陪同，蒋介石在孔祥熙的官邸接见了苏联大使，对有关问题阐述了中国的态度。在谈话中，蒋介石暗示，希望中苏两国尽快改善关系，希望尽快同苏联缔结秘密军事协定。他还向鲍格莫洛夫保证，中国政府在任何情况下都不同日本签订反苏的军事协定。蒋介石的保证使鲍格莫洛夫心中的疑虑一扫而空，同时，中国方面的积极态度也感染了这位苏联大使。因此，鲍格莫洛夫向蒋介石提出一个建议：最好由南京国民政府派遣一名高级官员访问莫斯科，直接与斯大林会谈。蒋介石点头同意，接受了鲍大使的建议，心中也开始考虑出访莫斯科的人选。
在蒋介石接见鲍格莫洛夫后，南京国民政府于10月下旬在国内成立了中苏文化协会，这是蒋介石为争取中苏友好所作的一大姿态。
为了使鲍陈密谈向前大进一步，为了尽快缔结中苏秘密军事协定，也为了找到与中共接触的契机，12月，蒋介石决定派高级官员出访莫斯科。那么派谁到莫斯科去呢？蒋介石选定了陈立夫，将出访莫斯科同斯大林会谈，力争缔结军事协定，并寻找机会与中共驻莫斯科代表团进行接触这一重大而秘密的使命交给了他。此时的陈立夫可谓官运亨通，在12月2日举行的国民党五届一中全会上，已高升为国民党中央常务委员会委员，步入国民党高级中枢领导人之列，成为蒋介石左右不能离的至关重要的人物。所以能受蒋介石如此重托。