”左总,联邦学习框架的工程化做完了。”沉一鸣的语气里带着一丝不易察觉的兴奋,”马昊帮我在模型聚合算法上做了优化,方泽的团队把寒武纪的工程样片跑通了,三线并行测试都通过了。”
左城放下手里的文档:”可以上真机了?”
”可以。但只能在少量节点上先试跑,大规模部署还需要更多验证。”
”那就今天试。”左城站起来,”叫上陈浩和方泽,去智慧城市的控制中心。”
半小时后,左城一行人站在杭城智慧城市控制中心的大屏前。
屏幕上显示着全市传感器的实时数据,一千五百个边缘网关,五千个传感器节点,分布在六个区的道路、桥梁、河道和建筑上。数据流像细密的光线,不断导入中央平台。
”选一个区的网关做测试。”左城说,”西湖区,一百二十个网关。”
沉一鸣在笔记本计算机上操作起来。他把联邦学习的训练任务分发到西湖区的边缘网关上,每个网关只使用本地的传感器数据训练一个小模型,然后把梯度信息加密后上传到聚合服务器,由聚合服务器把所有网关的梯度汇总,更新全局模型。
”开始。”左城说。
屏幕上的数据开始流动。一百二十个边缘网关同时开始本地训练,每完成一轮,梯度信息就加密上载。聚合服务器的进度条从零开始缓慢爬升。
”第一轮聚合完成,模型精度百分之七十八。”沉一鸣盯着数据,”第二轮开始。”
左城站在后面,悄悄打开了系统面板。科技雷达的冷却已经结束,沉一鸣就在三米之外。
扫描。
面板跳出了结果。和两周前相比,沉一鸣掌握的技术列表多了一项:梯度稀疏化压缩。这是他在工程化过程中自己研究出来的新能力,可以把梯度信息中的冗馀数据剔除,只保留关键参数,从而大幅降低通信开销。
左城看着这项技术,心里迅速计算。如果复制梯度稀疏化压缩,配合沉一鸣已有的自适应通信调度,联邦学习的通信效率还能再提升一个台阶。
【复制”梯度稀疏化压缩”需要消耗8积分,是否继续?】
确认。
积分从二百八十五分变成了二百七十七分。一项新的技术出现在左城的科技树叶片列表中,归入万物互联枝干。
左城关掉面板,继续看测试。
”第三轮聚合完成,模型精度百分之八十五。”沉一鸣的声音有些发颤,”数据没有出过本地,隐私保护完全有效。第四轮。”
”通信开销呢?”陈浩问。
”比集中式训练降低了百分之五十二。”沉一鸣说,”这个数据已经超出了我的预期。树莓派上测试的时候只能做到百分之三十七的降幅,真机环境反而更好,因为边缘网关的算力比树莓派强很多,本地训练的梯度质量更高,聚合的效率也就更好。”
”精度损失呢?”方泽开口了。
”几乎没有。”沉一鸣调出一个对比图,”联邦学习训练出来的模型精度是百分之八十五,集中式训练的精度是百分之八十七,差距在误差范围内。而且随着训练轮次增加,这个差距还在缩小。”
左城心中一动。梯度稀疏化压缩,他已经从系统里复制了,但这项技术的载体不是沉一鸣,而是他自己的科技树。他需要把这项技术”反馈”给沉一鸣,但不能暴露来源。
”一鸣,你之前提到的梯度稀疏化思路,有没有继续往下做?”左城问。
沉一鸣愣了一下:”有初步的想法,但还没来得及实现。”
”我之前看过一篇论文,讲的是梯度稀疏化的自适应阈值选择。内核思路是在训练过程中动态调整稀疏化率,前期保留更多梯度保证收敛,后期提高稀疏率降低通信。你试试这个方向。”
沉一鸣眼睛一亮:”自适应阈值选择?这个思路很好,和我之前的自适应压缩率可以对接。我回去就做。”
测试继续进行。第八轮聚合完成后,模型精度稳定在百分之九十三,和集中式训练的精度几乎持平。通信开销最终稳定在百分之五十八的降低幅度。
”测试成功。”沉一鸣长出一口气,双手微微颤斗,”联邦学习框架在真实设备上跑通了。数据没有出过本地,精度几乎无损,通信开销降了百分之五十八。”
陈浩拍了拍他的肩膀:”干得不错,回去请团队吃顿好的。”
方泽难得露出一个微小的笑容,然后继续低头看功耗数据,嘴里嘟囔了一句:”峰值功耗比预估低了百分之十二,寒武纪的芯片还行。”
左城站在大屏前,看着那些从边缘网关汇聚而来的数据流。联邦学习,模型压缩,寒武纪芯片,三条技术线正在交汇。技术增幅在后台默默工作着,所