7月17日，按照新的分组开会，开始讨论彭德怀给毛泽东的信。会上，传达了刘少奇、周恩来16日在政治局常委会上讲话的精神。刘少奇的意见是，成绩要讲够，缺点要讲透，干劲要鼓足。周恩来则算了一笔账，说虽然补贴了40亿，但是取得了经验，争取了时间，大大提高了我国钢铁生产的设备能力和缩短了投入生产的时间，小土群为小洋群作了准备，小高炉为大高炉作了准备。“两小”充分利用了分散的煤铁资源。钢铁账要算，但既要算经济账，也要算政治账；既要算现在的盈亏账，也要算将来的盈亏账。只能两条腿走路，不能一条腿走路。
　　 7月23日一大早，临时通知开全体大会。上午，毛泽东亲自到会，坐在主席台中央的位置。当一截烟快要熄灭时，毛泽东发言了。他的讲话，有时看起来很随意，却往往蕴含着无穷的意味。这次他又以随便的口气开始，但一开口就使人觉得不一般：
　　 “你们讲了那么多，允许我讲点吧，可以不可以？吃了三次安眠药，睡不着。”
　　 在毛泽东这篇近三个小时充满愤激之情的讲话中，对彭德怀等人进行了猛烈的抨击，也联系到反冒进，说他们重复了1956年下半年、1957年上半年犯错误的同志的道路：“那时的反冒进，就是资产阶级的冷冷清清凄凄惨惨的泄气性、悲观性。我们不戴高帽子，因为这些同志与右派不同，他们也搞社会主义，只不过是没有经验，一有风吹草动就站不住脚，就反冒进。”毛泽东欣慰的是，“那次反冒进的人，这次站住脚了。如周恩来同志劲很大，受过那次教训，相信陈云同志也会站住脚的。恰恰是那次批评他们那一部分人，这次取他们的地位而代之。不讲冒了，可是有反冒进的味道。比如说‘有失有得’，‘得’放在后面是经过斟酌了的。”其实信的原稿是写的“有得有失”，秘书在抄写时给写倒了。彭德怀对此从没怪过秘书，只是自己承担责任。毛泽东情绪颇为激动，说道：“我为什么现在不硬着头皮顶住了呢？20天了，快散会了，索性开到月底。马歇尔八上庐山，周恩来三上庐山，我们一上庐山，为什么不可以啊？有些权利。”毛泽东在作自我批评时是比较冷静、客观的：“1958年、1959年主要责任在我身上，应该说我。过去责任在别人，总理、陈云，现在应该说我，实在一大堆事没管。‘始作俑者，其无后乎’。我无后乎，一个儿子打死了，一个儿子发了疯。”毛泽东这样讲，很容易使人联想到在抗美援朝中牺牲的毛岸英，是彭德怀没有保护好他。毛泽东又一次联系到周恩来，“至于党不管党，计划机关不管计划，不搞综合平衡，搞什么去了？根本不着急，总理着急，他不急。人不着急，没有一股神气，没有一股热情，办不好事情。”从中看出，毛泽东对南宁会议后的周恩来的工作是肯定的，这次庐山会议也觉得周恩来是站在自己一边的。这次毛泽东反复提到周恩来，他希望周恩来不要忘掉“反冒进”的教训，站稳反击彭德怀的立场。
　　 对于彭德怀等人来说，毛泽东的讲话真是如雷贯顶，不知所措。散会时，彭德怀匆匆离开了会场，但刚刚走出不远，就被周恩来派人叫去开会。他回过头，看到毛泽东正与其他人一起向这边走来，彭德怀迎上前去，对毛泽东说：“主席，那封信是我写给你作参考的，为什么把它印发了？”
　　 毛泽东回答：“你也没有讲不要印发嘛。”
　　 一向不善言辞的彭德怀无言以对，默默地走开了。
　　 毛泽东的这篇讲话，成了庐山会议的转折点。此后，会议的主题和方向，都发生了重要的变化，批彭的调子一步步升级。
　　 但在周恩来住处召集的彭德怀等几位副总理开会时，周恩来还在谈形势的困难，还在安慰彭德怀。
　　 周恩来说：“9000万人上山，1070万吨是一个革命。2700-3000万吨则根据不多，现在落实到1300万吨。”
　　 彭德怀仍沉浸在毛泽东的讲话中，他的情绪有些抵触，他解释了自己写信的动机和考虑，表达了对受到错误批评的不满。他说：“我写的‘有失有得’，是讲小土群这一点，只讲这一点，根本没讲小洋群。”
　　 周恩来说：“把‘失’放在前面是有意识的，应把落实同泄气区分开。”
　　 彭德怀说：“1070万吨，脑子热了一下，他是有一份的，但总的路线不能动摇，而且他比较冷得早，10月底就冷下来了。”他情绪有些激动：“这次会议，我为什么要写这封信供主席参考？我有个感觉，共产党有不敢批评的风气了，写个东西要字斟句酌，我实在忍不住了。”
　　 周恩来劝解道：“主席说了，基本上是好的，方向不大对。当然，他没指名，要注意，也没什么了不起的，你还没有到反冒进那个情况，有那么个趋势。你到此为止，认识了，就是了，这个批评也很好。”
　　 彭德怀想不通：“共产党不能批评，这违反共产党的基本原则。”
　　 周恩来心里也仍记挂着经济问题：“钢、铁、煤的计划不能完成，比较紧，还有运输是个大问题。木材、化肥、粮食继续紧张。更重要的是基建。还有机械、财政、金融、外贸……上海的煤只有七天的储备。六个月的存粮只有310亿斤。去年增加了2080万人。按‘一五’经验，一元货币比9.6元物资，市场就正常一点。1956年，1比8.8就紧张了。”
　　 彭德怀一抬脸：“这些情况为什么不到大会上讲一讲呢？”
　　 周恩来摇了摇头，道出心里话：“开始就讲这些困难，像诉苦会了，误会成泄气不好。”
　　 彭德怀不以为然：“你们真是人情世故太深了。”
　　 周恩来：“这是方法，不是1956年犯了反冒进的错误吗？当时是冲口而出的，没有准备好，跑到‘二中’全会讲了那么一通。应当谨慎，汲取教训。今年你替了我了。其实，你有鉴于我，还写了总路线基本正确，没有‘冒进’字眼，但我那时说话，也是这样两方面都说了的。”在周恩来看来，彭德怀的“问题”远没有他当时反冒进那样严重。
　　 中午，彭德怀回到自己住处，和黄克诚一起用餐。两个人相对无言，谁也没说一句话。黄克诚只吃了几口饭，把碗一推，站起来走了。彭德怀更吃不下，在餐桌前坐了片刻，也放下碗筷离席而去。回到自己办公室，彭德怀坐在写字台前，点燃一支香烟，吸两口，熄灭。接着，又点上一支，又熄灭，丢进烟灰缸。他把桌上堆积的文件，拿过一份，信手翻两页，看不下去，又把它丢在桌上。整整一个下午，纷乱、烦躁、委屈和忿忿不平的情绪折磨着彭德怀。