许承站在主屏前,手里拿着激光笔,但没有点。他在等所有人到齐。
赵静是第一个进来的,手里抱着一台厚重的笔记本,屏幕上已经跑着小芯对悟道平台过去一周负载数据的初步分析结果。她身后跟着小芯团队的三个内核工程师,每个人脸上都带着那种连续熬了几天夜特有的疲惫和亢奋混杂的表情。
章宸第二个到,他刚从地下二层的验证中心上来,天权4号的NPU调度器修改还在进行中,但他答应过赵静,悟道平台的负载调优会议他必须到场——因为调优的内核瓶颈不在软件,在天权芯片的内存带宽和片间互联延迟。
林薇第三个到,她带了追光材料实验的最新数据,虽然和悟道平台没有直接关系,但她需要赵静的小芯帮忙跑一组热应力分布的仿真,顺便听听算力平台的进展。
陈醒最后一个走进作战室,他没有坐主位,而是坐在了靠门的位置。今天这场会议他不需要做决策,只需要听。悟道算力平台是天机云的内核基础设施,也是未来科技AI能力的底座,它的负载调优不是一次性的技术攻关,而是一个持续演进的过程。他要听的是团队有没有找到正确的方向。
许承等所有人坐定后,点了一下激光笔,主屏上的全局架构图被替换成了过去四周的负载总览。
“悟道算力平台目前部署了三万两千颗天权芯片,分布在华夏境内七个数据中心和南洋两个边缘节点。总算力达到每秒三点六亿亿次浮点运算,理论峰值算力在国内排名第一,全球排名第四。”
“但理论峰值和实际利用率之间,有一道我们一直没填平的鸿沟。”
许承调出一张曲线图,横轴是时间,纵轴是算力利用率。曲线在过去四周里剧烈波动,最高点达到百分之七十八,最低点跌到百分之四十一,平均利用率只有百分之六十二。
“理论峰值算力全球第四,实际有效算力可能连全球前十都进不去。这不是硬件的问题,是负载调度的问题。”
赵静接过话头,把笔记本上的分析结果投到第二块显示墙上。
“小芯对过去四周的负载数据做了全量分析,发现了三个内核问题。”
“第一,负载特征极度不均匀。悟道平台同时支撑三类负载——大模型训练、推理服务、科学计算。这三类负载对算力、内存、通信的须求特征完全不同。训练任务需要高带宽、低延迟的片间互联,推理服务需要低延迟、高并发的单卡响应,科学计算需要高精度、大内存的单卡容量。目前的调度策略没有区分这些特征,把三类负载混在一起跑,结果就是互相干扰。”
第二块显示墙上出现了一张热力图,不同颜色的色块代表不同类型的负载在时间轴上的分布。训练任务通常是深蓝色的长条,持续几个小时甚至几天;推理服务是浅绿色的短脉冲,每秒几十个;科学计算是黄色的中等长度块,持续几十分钟到几小时。三种颜色在时间轴上交错在一起,象一幅混乱的抽象画。
“第二,片间通信的拥塞控制太保守。天权芯片之间的互联带宽是理论上每链路每秒五十吉比特,但实际跑大模型训练时,有效带宽只有不到三十吉比特。原因是我们使用的拥塞控制算法过于保守,一旦检测到轻微拥塞就大幅降低发送速率,导致带宽利用率不足百分之六十。”
章宸点头确认了这个问题的技术细节:“天权芯片的片间互联硬件本身没有问题,瓶颈在协议栈的拥塞控制参数。我们目前用的是通用数据中心的参数配置,但通用配置对大模型训练这种周期性、大批量的通信模式不适用。需要针对训练任务的特征重新调参,甚至重写部分拥塞控制逻辑。”
“第三,”赵静继续说,“推理服务的负载预测准确率太低。悟道平台的推理服务接入了天枢生态的二十七个应用,流量特征极其不稳定。有的应用在白天流量大,有的应用在晚上流量大,有的应用受社交媒体热点驱动,流量可以在十分钟内暴涨十倍。目前的负载预测模型用的是过去七天的历史数据,预测准确率只有百分之六十五,导致平台不得不预留大量的冗馀算力应对突发流量,进一步拉低了平均利用率。”
赵静把这三个问题的严重程度排了序:负载混跑造成的利用率损失最大,约百分之十五;片间拥塞造成的损失次之,约百分之十;预测不准造成的冗馀预留损失约百分之八。如果把这三个问题全部解决,悟道平台的平均算力利用率可以从百分之六十二提升到百分之八十五以上。
“百分之八十五是理论上限,”许承说,“但能做到百分之七十八到百分之八十,就已经是全球领先水平了。”
陈醒靠在椅