“第九次仿真结果出来了。”一名年轻工程师从座位上站起来,声音里带着压抑不住的兴奋,“采用我们新设计的张量核内存访
实验室里响起一阵低声欢呼,但章宸只是点了点头,在公式旁边打了个勾。”。
但问题也清淅地标注在那里,用红圈圈出来:
内存墙问题加剧
稀疏
多精度支持不足
训练需要FP32精度,推理可降至INT8甚至更低
现有架构切换精度模式需要重新编译,效率损失严重
这些问题象三座大山,压在“悟道”团队每个人的心头。”的实际性能提升也会远低于预期。
而就在昨天,陈醒刚刚提出了“AI本地化计算战略”。那个战略对芯片提出了更高的要求:不仅要在数据中心的高性能训练中表现出色,还要能在边缘设备的低功耗推理中高效运行;不仅要支持大规模的集中训练,还要适应分布式的小规模增量学习;不仅要处理传统的密集计算,还要高效应对日益增长的稀疏化和混合精度须求。
压力大得让人喘不过气。
章宸回到自己的工作站,调出一份加密的技术文档。那是三天前,他从一个非公开的学术论坛获得的预印本论文,作者是南洋理工大学的一个研究小组。论文的标题很专业:《基于动态数据流架构的稀疏张量计算加速方法》。
他通读了七遍,每一遍都有新的启发。论文的内核思想很巧妙:传统GPU架构采用固定的计算流水线,数据需要在内存和计算单元之间来回搬运;而作者提出的“动态数据流”架构,让计算单元可以根据数据的稀疏模式动态重组,减少不必要的数据移动。
但这只是理论上的设想,要实现在芯片上,需要克服无数工程难题。
“章老师,您还在看那篇论文?”助理端着一杯新泡的茶走过来,“赵静总刚才发消息,问我们对于陈总AI本地化战略的芯片支持方案有什么初步想法。”
章宸接过茶杯,目光依然盯着屏幕:“告诉她,我们需要一周时间。现在有个可能的突破口,但需要验证。”
“什么突破口?”
“你看这里。”章宸调出论文中的关键图表,“作者用FPGA原型验证了他们的。如果这是真的,并且我们能把它实现在ASIC上……”
他没说完,但助理已经明白了。,这意味着同样的硬件,实际算力可以提升近三倍。这对于大模型训练来说,是革命性的进步。
“但论文里用的是FPGA,”助理谨慎地提醒,“频率只有200MHz,功耗和面积指标都不理想。要实现在我们7n艺的高性能芯片上,挑战很大。”
“挑战很大,但不是不可能。””的版图,“你看这里,计算单元数组和内存控制器之间的接口,我们本来就有一定的可重构能力。如果在这个基础上增加动态重组逻辑……”
他开始在白板上快速画图。线条从凌乱到清淅,架构从模糊到具体。二十分钟后,一个新的计算单元架构草图呈现出来:
动态稀疏计算单元(DSCU)
每个计算单元内置小型权重缓存和稀疏模式检测器
支持运行时动态重组为不同型状的计算数组(1x8, 2x4, 4x2, 8x1)
稀疏检测器在数据加载时识别零值位置,跳过映射计算
智能数据预取引擎
根据稀疏模式预测下一次需要的数据
与计算单元重组协同,最大化内存带宽利用率
混
减少精度切换时的流水线清空开销
画完后,章宸盯着白板看了很久。这个架构看起来很美好,但实现起来每个环节都是难关。动态重组需要额外的控制逻辑,会增加芯片面积和功耗;稀疏检测需要额外的计算,可能抵消节省的算力;混合精度融合需要复杂的调度算法……
“我们需要做一个快速的可行性评估。”章宸转身对助理说,“把张伟、刘强、还有仿真电路组的老王都叫来,现在。”
凌晨三点半把人叫醒开会,在芯片设计行业并不稀奇。半小时后,实验室的小会议室里挤进了七个人,每个人都睡眼惺忪但神情专注。
章宸用二十分钟讲解了新架构的想法。讲完后,会议室里一片沉默。
第一个开口的是老王,仿真电路组的老专家,头发花白但思路清淅:“动态重组逻辑的时序收敛会是大问题。计算单元在不同形态间切换,需要保证时钟树平衡,延迟要控制在极小