在陈立夫的辛苦努力下，鸡场顺利办下来了，半年下来，竟赚了5000元，为了减轻劳动力，加快鸡场发展，陈立夫用所赚之钱买了三部输送饲料的机器，并开掘了一口深水井，逐步改善了养鸡的条件。再加运气好，没有出现鸡瘟等麻烦事，鸡场的利润也提高很快，一片兴旺景象。陈立夫十分开心，精神比以前好多了，开始从“郁郁苦不展、羽翮困低昂”的苦闷情绪中解脱出来。
但好景不常，几年后，美国东西高速公路建成通车，使纽泽西养鸡中心的地位受到巨大威胁。因西部地区养鸡是放饲于田野间，鸡蛋质量好而且成本低，高速公路的开通，使之能够非常便捷地运到纽约市场销售，纽泽西失去了近水楼台的优越性，市场份额逐步被抢走。陈立夫隔壁是一个犹太人办的鸡场，他很有眼光，告诉陈立夫说：“高速公路一通，西部鸡蛋源源运来，竞争困难，我们不能养鸡了。”于是，犹太人断然把鸡场卖掉了。与陈立夫合伙的胡定安见势不妙，也抽掉股份走了，剩下陈立夫夫妇留下来惨淡经营。
陈立夫的鸡场每况愈下，每月最少减收3000元，生活也越来越困难，尽管一再节省开支，还是周转不灵，不得已，只得向朋友借贷维持，待辛苦赚得一点微薄利润时，又忙着去还贷，处于负债经营，捉襟见肘的境地。远在台湾的蒋介石知道陈立夫的窘境后，出于旧情，每年总有一两次寄来二三千元，数目虽不多，对陈立夫来说，无疑是雪中送炭。这也使得陈立夫在岁月洗刷下逐步抹去怨蒋情绪时，又淡淡生出一丝感激之情。
虽然鸡场经营困难，生活艰难窘迫，但陈立夫十分乐观，白天，他像年轻人一样奔忙于鸡群之中，手不停脚不停地做着重活、苦活；晚上，闲了的时候，陈立夫找来一本《易经》，看得津津有味。这部完成于殷周之际的书，一下子对陈立夫产生了莫大的吸引力，那晦涩的语句阐述的万物交感、发展变化的观念，似乎与心有灵犀的陈立夫有相通之处，特别是书中所强调的“无平不陂、无往不复”的这种物极必反的原则，似乎早就为陈立夫指明了他在国民党中由泰到否的这种必然归宿，他越看越有兴趣，以至一放下手中的农活便拿起这部奇书，不倦地看、反复地读，并融汇自己的体会，写出读书心得。同时，陈立夫将儒学经典《论语》、《孟子》、《大学》、《中庸》之四书全部集纳，重加次序，归纳诠释，使之成为一个系统整体。后来汇集成册，取名《四书道贯》，本来，陈立夫从抗战时就已开始做这一巨大的文化工作，但由于处于战争年代，没能做成。重庆谈判时，毛泽东、周恩来见了陈立夫，都关切询问《四书道贯》的撰写和进展，称赞他在进行一项有意义的工作。但由于政治事务缠身，也无暇完成这一工作，现在异乡他国，终于能坐下来，完成这一心愿了。
《四书道贯》写成后，陈立夫将初稿送给一些朋友阅读，如刘百闵、潘公展、陶百川、钱穆等，请他们提意见，这些人看后一致称赞，认为有学术价值，钱穆还为书写了序言。世界书局的吴开先曾任国民党上海市党部主任委员，是陈立夫的老部下，出于对过去上司的尊敬，答应承印《四书道贯》一书。结果，出版后，竞十分畅销，一版再版，总销量达万余册，学术上的收获使陈立夫陶醉，他觉得自己找到了精神寄托。
陈立夫“结庐在人境，而无车马喧”的隐居生活没有过多久，便有人知道了他的行踪。于是，不时有记者、作家及当年故旧前来访问，陈立夫的平静生活又被打乱。他热情地接待客人，向客人介绍他的农场、他的经营、他的生活、他的读书体会，对这些，他津津乐道，兴趣盎然。一旦客人谈及台湾政治及以往在大陆时期的经历，他就缄口不言，保持沉默。有些记者并不灰心，穷追不舍，再三提问，陈立夫实在被问急了，便简单地回答：“过去国民党是我一手搞的，过去的党打败了，打败了就打败了，败军之将不可言勇，有什么好谈的呢？”有人问他是否还准备再回到台湾，重返政坛，他的回答十分坚决：不想回台湾，更不会再返政坛。表示要在美国度过他的人生的最后岁月。
但世间的事情往往会发生戏剧性的变化，1961年2月中旬，陈立夫接到蒋介石从台湾拍来的电报，告诉他“尊翁病危，盼即返国”这一消息，使他百感交加。他想到10年前，为了政治原因而义无反顾地丢下80高龄的老父远走异国他乡，已属狠心；后来其兄陈果夫病逝，他强忍悲痛，没回台湾，也属不近人情；这次老父病危，如果再不回台湾，必为千夫所指。作为提倡中国文化、提倡传统道德，把忠孝二字挂在嘴边的陈立夫来说，没有理由不返台看望父亲。于是他将农场的几千只来亨鸡卖了，辞退了工人，然后返回台湾。
2月24日下午3时20分，陈立夫偕夫人孙禄卿在蒙蒙细雨中飞抵台北机场，1000多人守候在机场迎接，台湾党政要人陈诚、蒋经国及故旧朱家骅、李石曾、陈启天、莫德惠等人亲临机场，欢迎这去国十年的天涯游子。对此，陈立夫深受感动，他在机场发表书面声明，说明自己回台湾纯粹是探望病中的父亲陈其业，没有任何政治意义，不久，