”城哥，调研报告出来了，情况不太乐观。”张磊拉了把椅子坐下来，”国产AI芯片主要就两家能看，寒武纪和地平线。寒武纪的MLU270算力不错，峰值算力达到128 TOPS，但功耗偏高，十五瓦往上走。地平线的旭日3功耗控制得好，只有两瓦，但算力只有5 TOPS，跑不了大模型。”
左城翻着报告，眉头越皱越紧。
”进口的呢？”
”英伟达的Jetson Nano，算力和功耗都比较均衡，但一颗芯片的采购价是国产的三倍。而且现在贸易摩擦升级，供应链不稳定，万一哪天被卡脖子就麻烦了。”张磊敲了敲桌面，”城哥，我的建议是短期用国产，长期想办法自研。”
”自研？”左城抬起头，”我们做AI芯片，你有把握？”
”不是现在做。”张磊说，”方泽和我讨论过，AI芯片的内核是架构设计，不是制造。设计我们可以做，流片代工就行。关键是架构，这东西需要算法和硬件深度耦合，我们正好有算法团队和硬件团队。”
左城沉默了一会儿。自研AI芯片是一条漫长而烧钱的路，但如果不做，402的AI业务就永远受制于芯片供应商。
”先把短期的方案定下来。”左城说，”边缘AI推理场景用寒武纪的MLU270，功耗虽然高一点但算力够用。联邦学习场景用地平线的旭日3，功耗低适合大规模部署。高端训练场景先用英伟达，同时和寒武纪谈定制方案。”
”行，我去跟进采购。对了，寒武纪那边说可以提供一批工程样片先让我们测试，不收费。”张磊站起来，又想起什么，”方泽说寒武纪那边有个人想见你。他们正在找垂直场景的合作伙伴做芯片验证，听说我们物联网平台上跑着AI，很感兴趣。”
”约个时间。”左城说。
张磊走后，左城打开系统面板，翻到AI枝干的叶片列表。
模型压缩优化。这枚叶片的能力是将AI模型在保持精度的前提下大幅压缩体积，让大模型可以跑在资源受限的边缘设备上。如果模型压缩做到极致，寒武纪的MLU270就能跑本该需要英伟达高端芯片才能跑的模型，功耗还能降下来。
左城想到这里，叫来了沉一鸣。
”一鸣，你之前在论文里提到的自适应压缩率，和系统面板里这枚模型压缩优化的思路能不能结合？”
沉一鸣刚入职三天，还在熟悉402的技术栈，听到左城的问题愣了一下：”模型压缩优化？你是指通用的模型压缩技术？”
左城意识到自己差点说漏嘴，赶紧改口：”我的意思是，你的自适应压缩率算法，和业界主流的模型压缩技术能不能做更深度的结合？比如知识蒸馏加量化加你的自适应压缩，三管齐下。”
沉一鸣思考了一会儿，推了推眼镜，眼睛亮了：”理论上可以。知识蒸馏把大模型的知识转移到小模型，量化降低精度要求，自适应压缩动态调整通信和计算量。三条路径叠加，压缩比可能做到五十倍以上。但如果三条路径深度耦合，还能更进一步，因为量化和蒸馏的损失可以在自适应压缩中被补偿。”
”五十倍？”左城的心跳加速了。
”保守估计。”沉一鸣拿过左城桌上的白板笔，在旁边的小白板上画了一个流程图，”你看，传统的做法是三步串行，蒸馏完了再量化，量化完了再压缩，每一步的误差会累积。但如果把三步并行，让蒸馏的损失函数包含量化约束，量化的参数空间由自适应压缩来搜索，误差就不会累积，反而可以互相补偿。”
他在白板上写了几个公式，虽然写得很潦草，但逻辑清淅。
”不过这需要三个方向的代码深度耦合，工程量不小。”沉一鸣放下笔，”至少要三个人做三个月。”
”你来做。”左城说，”需要什么资源我给你配。算法方面你和马昊配合，工程方面方泽的硬件团队做支撑。两周内给我一个技术方案。”
沉一鸣深吸一口气：”两周有点紧，但可以试试。”
左城拍了拍他的肩膀：”不是试试，是做到。”
沉一鸣愣了一下，然后用力点了点头。
当天下午，左城在系统面板上查看了科技树的被动效果。。也就是说，沉一鸣的模型压缩方案在402落地时，实际效率会比理论上更高。
但他不能告诉沉一鸣这一点。
左城关掉系统面板，拿起手机拨了于颖的电话。
”空空，今晚有空吗？”
”有啊，怎么了？”
”想请你看场好戏。”左城笑了笑，”寒武纪的人明天来公司谈合作，你要不要过来旁听？他们对边缘AI联邦学习很感兴趣，你的研究方向正好对口。”