黄克诚在20多年后的“自述”中说：我平生受过无数次斗争，感到最严重、使我难以支持的，还是庐山会议这一次。我一向有失眠症，经常吃安眠药，但最多不过吃两粒，这时每晚吃到六粒，还是不能入睡……彭还在碰巧能单独说话时，劝我别那么紧张。我说：右倾机会主义还不要紧，“反党”可就要紧了，我确实是很紧张。彭说：我这个人一辈子就想搞“富国强兵”，没有什么别的想头。又劝我别悲观，似乎他还比我乐观些。但也不便多说，马上就走开了。……“斯大林晚年”问题一出，会议就像烧开的水一样，沸腾起来，似乎“反党集团”、“湖南集团”等均由此得到了确证，我前一段在小组会上那么理直气壮地辩论，现在看来都成了瞪着眼睛说谎话，证明我这个人非常不老实，完全不可信任。于是，“阴谋家”、“野心家”、“伪君子”的帽子都给我戴上了。身处此境真是百口难辩，跳进黄河洗不清，心里的那种痛苦实在没法形容。可是还得开会，还得检讨，一次又一次，总是被认为不老实。以后，彭、黄、张、周等人被定成了“反党集团”，并认定是“高饶反党集团”的继续。这些人被保留了原先在中央委员会中的职务，但都调离了国防、外交、省委第一书记的工作岗位。
　　 会议结束后，九江机场已经准备好专机，以每15分钟一个航班的间隔，将多数与会者送往北京。彭德怀成了“孤家寡人”。他的那架飞机稀稀落落地坐着几个人。除彭德怀和他的妻子浦安修及身边的秘书、参谋外，参加会议的只有张爱萍上将一人。飞机飞至微山湖西侧高空时，遇上一场暴风雨，全部飞机临时改降济南机场。中午在济南一个宾馆里就餐，整个食堂桌桌满座，唯独彭德怀那桌只有他一人孤零零地吃饭。与上山时相比，简直是两个世界。这年的国庆正好是“十年大庆”，在天安门前的盛大典礼上，人们再也见不到功勋卓著的彭德怀元帅，取代他检阅部队的是新任国防部长林彪。
　　 在这一天，彭德怀搬出了中南海，住到北京西郊颐和园附近的吴家花园。
　　 10月13日的清晨，毛泽东打来电话，约他去中南海一晤。这使彭德怀重新燃起了希望。他顾不得吃早饭，马上命车出发，直驶中南海颐年堂毛泽东住地。当他快步进入室内，发现除毛泽东外，还有刘少奇、朱德、邓小平、陈毅、彭真、李富春、谭震林等在座，原来是以中央的名义找彭德怀谈话。
　　 彭德怀向在座的人一一注目致意，然后在侧面的一张沙发上默默落座。
　　 毛泽东从容地对彭德怀说：“我们一起来商量一下你今后一段时间的工作、学习问题。中央同意你9月9日的来信，读几年书极好。每年有一段时间到工厂和农村去参观和调查研究也是很好的。你年纪大了，就不要去人民公社劳动了。”
　　 彭德怀仔细听着，答道：“同意主席的话。”
　　 毛泽东问：“准备怎么学习？”
　　 彭德怀：“学习哲学、政治经济学。吴家花园离党校近，希望在党校参加学习，准备学四年。”
　　 毛泽东表示同意，让彭真、杨尚昆两人负责安排。又说：“不要学那么长时间，两年就够了。”彭德怀也同意。
　　 这时，毛泽东没有说下去，注视着彭德怀，似在等候什么。从庐山会议以来，批彭这根弦绷得够紧了，在座的人看出来，毛泽东是在等候彭德怀认错，以便有所表示。
　　 彭德怀默不作声。他也感觉到，他此时“认错”，就能打开僵局，他的处境会好得多，但他决心不再作违心的检讨。庐山上的违心检讨是为了顾全大局，已使他痛苦到“如万箭穿心”。现在，他还为什么呢？他认为，错在毛泽东，而不在自己。
　　 历史再一次黯淡起来。两个历史巨人，两个同样火辣的湖南老乡，在彼此的倔强和沉默中，再次失去了谅解的机会。
　　 春去秋来，中国的历史在曲折中前进。1965年9月21日，彭德怀写了一封信给毛泽东，请求允许他回农村去。彭德怀的信当天下午便送到了毛泽东案头。毛泽东看信后，于23日7时半，叫秘书打电话给彭德怀，约他8时半前去谈话。彭德怀谨慎了些：“主席习惯晚上工作，上午要休息，我晚上去吧。”秘书答：“叫你上午就来吧！”
　　 彭德怀即乘车前往，8点15分到达颐年堂，毛泽东已在门口等候，看到彭德怀过来，远远就伸出了手。
　　 两人握住手，打量着。毛泽东的目光扫过彭德怀黑瘦的面容，斑白的两鬓，似生伤感，说：“几年不见，你显老了。”
　　 彭德怀勉强笑了笑：“我是无事不登三宝殿咯。”
　　 毛泽东笑了：“早在等着你，还没有睡觉，昨天下午接到你的信，也高兴得睡不着。”毛泽东顿了顿，又说：“你这个人有个犟脾气，几年也不写信，要写信就写八万言。今天还有少奇、小平、彭真同志，等一会儿就来参加。周总理因去接西哈努克，故不能来，我们一起谈吧。”
　　 毛泽东对彭德怀说：“现在要建设大三线，准备战争。按比例西南投资最多，战略后方也特别重要。你去西南区是适当的。将来还可带点兵去打仗，以便恢复名誉。”
　　 彭德怀答：“搞工业是外行，完全无知，政治上也不好做工作。”
　　 两人在院子里边走边谈，彭德怀谈到在庐山会议上自己提到的三条保证，毛泽东说：“你说的三条保证，后面两条还记得。也许真理在你那边，你的问题让历史作结论吧。”又说：“庐山会议是历史的插曲，已经过去了。要振作精神向前看。”
　　 8时40分左右，刘少奇、邓小平、彭真先后来了。大家略事闲谈，转入正题。毛泽东说：“彭德怀同志去三线也许会搞出名堂来。建立党的统一领导，建立三线建设总指挥部，李井泉为主，彭为副。还有程子华。”
　　 彭德怀还是不愿接受：“我去搞工业是外行，时间紧迫，恐有所负，我想去边疆搞农业。”
　　 刘少奇、邓小平、彭真一起劝他，说搞工业大家都不懂，都在摸索。
　　 毛泽东环视在座的人，斩钉截铁地说：“彭德怀同志去西南区，这是党的政策，如有人不同意，要他同我来谈。我过去反对彭德怀同志是积极的，现在支持他也是衷心诚意的。”
　　 毛泽东这几句话深深感染了彭德怀。