这个时候，我对这次会议产生了一些疑问：像这样一个会议，连刘少奇、周恩来、邓小平都不知道什么情况，这是怎么搞的呢？但当时我是坚信毛主席的，既然毛主席都亲自到上海主持这件事，我也就不多想了。
如果这种情况出在我们下面的党委，肯定是不正常的。但我当时连一个中央委员都不是，对中央的情况不太了解，所以只好相信毛主席的决定是正确的。尽管这样，我还是感到，在这样一个高级别的会议上，让我来带头发言，与我的身份是不相符的。基于这个考虑，一直到会议结束，我都没有再发言。
会议的第三天晚上，周恩来突然来找我交代任务，要我派一架飞机，配备最好最可靠的机组，到昆明把罗瑞卿接到上海来。他特别交待，要我亲自掌握好这架飞机，作好应变措施，飞机只准往东飞，不准往西飞。我明白他这话的意思，就是要防止罗瑞卿跑到缅甸或印度去。
周恩来还告诉我，这架飞机到上海以后，只要三个人去接：一个是陈丕显，代表东道主；一个是谢富治，当时的公安部长；一个是我，是管飞机的。除了我们三个，其他任何人都不能去。他一再强调，罗瑞卿到上海的事情，要严格保密，不要告诉任何人。
听完周恩来的指示，我当即报告他，准备派空军运输十三师的副师长时念堂去驾驶这架飞机。等他同意后，我又告诉他，罗瑞卿曾经从昆明打电话到北京找我讲话。周恩来马上问我：“接电话了吗？”我说：“没有接，我已经离开了北京，是留在家里的秘书打电话告诉我的。”周恩来听了后强调：“不要紧，就说你不在家。”
我刚刚想离开周恩来的房间，秘书就进来告诉我，说是彭真从北京来电话找我。我刚想去接电话，周恩来立即阻止我说：“不要接，就说找不到你。他可能是来了解会议情况的。”
我当时感到很奇怪，心里想，彭真同志是中央政治局委员、中央书记处书记、北京市委第一书记、全国人大常委会副委员长，为什么不告诉他会议的情况？难道彭真也有了问题？但是我绝对不敢问，只能带着这样的疑问离开周恩来的房间。
十二月二十一日下午两点，接罗瑞卿的飞机回到上海。按照周恩来的规定，我和陈丕显、谢富治一起到虹桥机场去接罗瑞卿。飞机降落以后，我看到昆明军区司令员秦基伟和罗瑞卿一起走下机舱。罗瑞卿的脸色很难看，显得很紧张，似乎意识到了什么。他同我们握手以后，就同陈丕显坐一辆车向市区驶去。陈丕显把罗瑞卿带到锦江饭店里的一个小院。周恩来、邓小平等在那里准备同罗瑞卿谈话。我没有资格参加这次谈话，我就离开了。罗瑞卿来到上海以后，一直没有见到他参加会议，我也没有向任何人透露罗瑞卿已经到了上海。
会议进行到第四天，也就是罗瑞卿到达上海的那一天，大家继续揭发、批判罗瑞卿的折衷主义。这时候，发言的人比较多了起来。第五天，大家就讲得差不多了，实际上也没有什么可以讲的了，于是小组会宣布休息。同时，也宣布了纪律：不准上街，不准会见朋友。
第六天下午，在锦江饭店顶楼餐厅开大会，刘少奇、朱德、周恩来、邓小平等领导到会，只有毛泽东和林彪没有露面。大会由周恩来主持，邓小平做总结发言。记得邓小平一共讲了五点：一、这次会议初步揭发了罗瑞卿的一些问题，会议暂时告一段落；二、罗瑞卿的主要问题是没有坚决执行林彪同志关于突出政治的指示，犯了折衷主义的错误；三、会议上揭发批判罗瑞卿的一些问题，将转达到本人，给他一点时间来认识错误；四、对罗瑞卿的问题，不能扩散，只限到会人员知道；五、会后怎么办，回京以后由中央研究解决。
邓小平一共讲了半个小时。他讲完话，其他人全都没有再讲什么话，就散会了。这个会议开得很沉闷。
回北京的时候，周恩来、邓小平、罗瑞卿同坐一架飞机。按照惯例，我还是赶在他们前面回到北京，然后候在机场接他们。在他们下飞机后同我一一握手时，我看到周恩来和邓小平的情绪都还好，只有罗瑞卿一声不响，心情沉重。这是我最后一次当面见到罗瑞卿。
上海会议刚结束，毛泽东就又召集中央军委常委开会。他在与林彪、叶剑英、贺龙、聂荣臻、徐向前等老帅一起研究后决定：撤销罗瑞卿的军委秘书长兼总参谋长职务，由叶剑英副主席兼任军委秘书长，杨成武代理总参谋长。从此罗瑞卿就算靠边站了。罗瑞卿下台以后，由林彪、叶剑英、杨成武、萧华形成了军委新的领导核心，并由叶剑英及杨成武、萧华三人主持着军委全盘的日常工作。
随着罗瑞卿的下台，杨成武的地