二届四中全会后，陈果夫、陈立夫兄弟即着手对国民党各级组织进行整理，他们发誓要“将共党遗留作风一扫而空”。整理的第一步便是向各地派出党务指导员。他们找来张道藩、余井塘等人进行密谋，决定从反共人物中选拔党务指导员。为此，他们对大革命时期国民党内一些极右派人物逐一进行考查，凡是积极反共的人都被挑选出来，作为党务指导员的人选。然后，让这些人参加中央组织部的各项工作和各种会议，使他们熟悉环境，并从中观察他们的政治立场和工作能力。按二陈的要求，“必须具有忠于国家民族，忠于本党主义，认识共党阴谋，忠于领袖的真诚才行”，简言之，只要具备反对共产党，忠于蒋介石这两条就行了。
此时的陈立夫与戴笠似有“既生瑜，何生亮”之感慨，但二人却在明争暗斗着。图为：戴笠经过两个月的悉心考查后，二陈便从这批人选中挑出一些思想反共而又忠于他们的国民党人，委派为党务指导员，将他们派往各地去执行“清党”任务。二陈对此十分重视，在这些党务指导员出发之前，都亲自召见，反复交待。他们要求党务指导员到各地后，再进行认真考核，选择一批坚定的反共分子到各县市担任党务指导员，所有各地的党务整理和“清党”运动，统统由党务指导员负责进行。
这些党务指导员到各地后，秉承二陈的旨意，迅速开展工作，对各地的党部进行解散、改组、重建，将共产党员和国民党左派人士逐出党部，换上二陈所指定的人，到1933年，各地主掌党权的基本上是二陈的亲信。如天津市，陈果夫派傅作义、苗培成、刘不同作为党务指导员到达后，即将天津市党部全部改组，二陈的亲信邵华，马亮、邵汉元、时子周等，都被塞进市党部，市党部下的各基层组织也换上了他们的人。还有，如“江苏为马元放；浙江为张强、许绍棣、罗霞天、方青儒、郑异、叶溯中、胡健中；安徽为佘凌云、张德流、魏寿永；湖北为艾毓英、杨锦昱等；江西为王冠英、刘家树、李中襄；河北为陈访先、詹朝阳、胡梦华；山东为赵伟民等；河南为陈泮岭、王星舟、李敬斋与张廷休；陕西为宋志先等；甘肃为田昆山、凌子惟等；黑龙江为王宪章、王秉钧等；察哈尔为马亮、刘诚宣、郭育恺等；绥远为赵允义、陈国英等；宁夏为沈德仁；青海为燕化棠、方少云、李天民；南京为方治；上海为潘公展、童行白、陶百川、陆京士、吴开先；北平市为陈石泉、庞镜塘；青岛为李汉鸣等；汉口为李冀中、吴企云、单成仪等”。这样，全国各省市的国民党组织已被二陈兄弟所掌握。
整理党务的第二步，便是对国民党员重新进行登记，这一次比1926年陈果夫接收组织部时所进行的登记更加广泛、更加严格。根据二陈的命令：“各地各级党部，一律暂停活动，听候中央派员整理，所有党员一律重新登记。”并要求所有国民党员“必须绝对遵守纪律”，“不得违反党纲、党章及一切决议案之主张”，“必须绝对服从党部之决议及命令”，听候审查。
在各地党务指导员的部署下，所有国民党员一律填交审查表。审查表中，有关于政治信仰的栏目，根据二陈的指令，在此栏目中，要求回答对三民主义和共产主义的认识，并加以区别，以此来测验填表者的政治倾向，这是决定其登记与否的一项重要标准。然后对这些党员开展调查，进行评审，凡有共产党嫌疑或亲共言行的，皆由军警和行政机关配合，进行审查、缉拿或清除。这是对共产党和其他非蒋势力从中央到地方的一次大清洗。
陈果夫、陈立夫对于派员到各地主持“清党”工作，总是不那么放心，生怕什么地方出了问题，因此，兄弟俩常常不辞劳苦，亲临各地去巡视，指导当地的“清党”运动。特别是对华北、东北地区，陈果夫最不放心，他考虑到这些地方原是张作霖的领地，国民党势力不强，现在刚刚平定，恐怕共产党乘机插入其中进行活动，因此，他把北方地区作为开展党务的重点。1929年夏天，陈果夫亲自到了北平。
一些新闻记者知道陈果夫是国民党内的新权贵，蒋介石的亲信人物，这次来北平一定有重大任务，便纷纷来到陈果夫下榻的旅馆，想进行采访。陈果夫知道，他所主持的“清党”运动是不得人心的，他此行的任务是秘密的，他本身的工作更是特务性质的，因此，尽管记者多次提出采访要求，他都一概回绝，拒不接见。一天，陈果夫出席张学良举行的宴会，他兴致冲冲，十分潇洒地步入餐厅，刚进大门，便被早就守候在那里的一群新闻记者包围起来，陈果夫再也逃脱不了，他看看表，离入席的时间还有十几分钟，心里十分着急，突然，他灵机一动，计上心来。于是，陈果夫满脸堆笑，先人为主地询问那些记者在什么报馆工作，报纸发行的情况，编辑工作的情况，甚至问到了广告业务等等，好不容易，拖到了宴会入席的时间，陈果夫即站起来，收敛笑容，冷冰冰地说道：“对不起，我要入席了。”说完，便把一群记者丢下，径自走了。事后，陈果夫得意了好几天，他说：“他们对我一无所得，而我反做了新闻记者的新闻记者了。”实际上，这正说明陈果夫做贼心虚，他的