上海会议结束以后，一直都没有听到有关罗瑞卿的消息。一九六六年三月初，我突然接到通知，要我到中南海怀仁堂去参加会议。这是一个由邓小平总书记代表中央政治局召集的一个小型会议，到会的仅三十人，很显然，这个会议是毛泽东决定召开的。
会上，邓小平总书记跟大家说：“关于罗瑞卿的问题，上海会议已经揭开了盖子，现在毛主席决定，继续在北京开会，仍然是小型会议，以军委为主，吸收各大军区，各军、兵种和军委各部门的主要负责人，以及中央机关各部门和国务院的有关负责人参加，人数不超过一百人。军队方面，由军委副主席兼秘书长叶剑英和杨成武、萧华组成领导小组，负责主持会议，领导这次同罗瑞卿进行的面对面的斗争。开会的地点在京西宾馆，以便保密。”
三月四日，批斗罗瑞卿的会议在京西宾馆正式开始。这次会议，毛泽东、刘少奇、周恩来、朱德、陈云、林彪、邓小平等中央常委都没有参加。林彪当时仍然住在苏州养病，没有回北京。空军参加会议的是我和余立金两个人。罗瑞卿这次参加了会议，但他到会时，大家对他形同陌生人，没有一个人上前同他打招呼。他每次来参加会议，都只是孤独的一个人，拿着钢笔和笔记本在会场的桌前，根据大家的意见作记录。这个时候，罗瑞卿实际上已经被隔离起来了，每天的事情就是到会听取大家的意见和批评。
会议的第一天，叶剑英首先说明了会议的目的和要求，要求罗瑞卿主动交代问题和深刻检讨，并要求其他与会者“知无不言，言无不尽”。他还规定要对会议的内容保密，任何人都不准外传。彭真在这一天到了会，以表示对会议的支持。
在第一天的发言中，以装甲兵司令员许光达大将的发言对罗瑞卿的震动最大。在发言中，许光达对罗瑞卿在延安的一些言行进行了揭发。看得出来，罗瑞卿对此很吃惊，也很生气，但是却敢怒不敢言。
会议期间，叶群经常同叶剑英、杨成武、萧华保持联系，有时也给我打电话，了解会议上的发言情况。会议的第二天，叶群从苏州给我打来电话，问我发言了没有。我告诉她没有。她便叫我赶快发言，同时在电话里再一次向我重复了上海会议时所讲的“四条”内容。她还告诉我，这“四条”是罗瑞卿要刘亚楼转告她的，一九六三年后刘亚楼几次想谈都没有说出口，一直到上海养病期间刘亚楼自知不久于人世，这才把这“四条”意见转告了她。她说，当她再次去刘亚楼那里核实这“四条”内容时，有刘亚楼的妻子翟云英在场。因此，她要我立即去找翟云英了解情况，还要我带上秘书，准备在一旁作谈话记录，以便作为旁证。她还叮嘱我，谈完话，一定要翟云英在记录上面签字，然后把这个材料立即送到苏州林彪那里。
我带着秘书找到了翟云英。没想到翟云英说，她在上海没有听见刘亚楼说到有关“四条”的事情。但后来她又说，当刘亚楼和叶群谈话的时候，她曾经看到刘亚楼伸出过四个手指。这次谈话我叫秘书作了记录，经翟云英签字以后送到了苏州。
会议开了一个星期，我仍然没有发言。叶群就又从苏州打电话来责问我，为什么还不把“四条”重新捅出去，以证实在上海会议的发言。我对她说，这个材料我没有听刘亚楼讲过，翟云英又不能完全证明，只是说看到刘亚楼伸出了四个手指。叶群听我这样说就急了，对我说：“刘亚楼是空军的人，你不讲谁讲？只有你最合适。你要赶紧发言，还要告诉余立金也要发言。我向毛主席汇报的时候和在上海会议上，都已经讲了这‘四条’，你还怕什么？”
说实在的，我当时确实有些犹豫。从一九五O年我到北京以来，罗瑞卿真的对我一直不错，我们俩的关系很好，现在他挨批斗了，却要我来冲锋陷阵，提这个“四条”，我实在是下不了这个决心。于是，我把这些思想向杨成武作了汇报。杨成武责怪我说：“你不讲，怎么向林总交代？”
即便这样，我当天还是没有发言。结果第二天叶群又来了电话，对我说：“我已经问了杨成武，你在会议上还没有发言。林总说，一定要吴胖子在会上讲这‘四条’，现在讲已经迟了，再不讲你就被动了。林总说要你好好考虑考虑，究竟是跟林总还是跟罗长子？林总让我告诉你，罗长子向党伸手，要夺取军权，毛主席亲自主持和掌握这次会议，来解决罗瑞卿的问题。你要好好想一想，你把罗长子在空军讲的几句话，到处张贴印发，把他抬得那么高，为什么？林总讲了，你同罗长子的关系是很密切的，你一定要彻底揭发罗长子，同他划清界限