说是推演,实际上是在系统能力的辅助下,快速验证各种压缩策略。
他用系统能力仿真不同的参数配置,测试对模型准确率的影响。
这个过程别人做需要几个月,但他只需要几天。
因为系统可以同时运行无数个仿真,每个仿真都在毫秒级完成。
两天后,夜以继日的推演终于有了结果。左城找到了突破口。
动态精度量化。
简单说,就是让模型在推理时动态调整计算精度。简单任务用低精度,复杂任务用高精度。
这样既保证了准确率,又把功耗控制在了可接受范围内。
他把这个技术思路整理成文档,发送给沉一鸣和方泽审核。
”一鸣,你看看这个方向可行吗?”
沉一鸣看了半小时后,回了电话。
”城哥,这个方向是对的。”他的声音带着兴奋,”我测试了一下,动态精度量化确实能提升准确率。”
”能到多少?”
””沉一鸣说,”比之前提升了将近21个百分点。”
”功耗呢?”左城问。
”。”方泽接过电话,”刚好达标。”。。。
”太好了。”左城松了口气,悬着的心终于放了下来。
但他很快又提起了精神。
评审会上,林建华那帮人不会给他们任何容错空间。
”以上。”他说。
电话那头沉默了几秒。
沉一鸣开口:”个百分点。这个提升……不容易。”
”我知道。”左城说,”但这是必须的。”
”你有没有什么想法?”
左城没有直接回答。
他挂掉电话,打开系统面板。
267分。
这已经足够再做一次科技融合。
如果把超参数自动优化和模型压缩优化的能力融合……
也许能产生一个更强的新能力。
【科技融合】
【消耗:5积分】
【请选择至少两枚叶片进行融合】
左城看着面板上的叶片列表。
超参数自动优化、模型压缩优化、边缘AI推理。
如果把这三枚叶片融合……
三秒后,融合完成。。
左城看着新叶片,心跳加速。
但他不能直接告诉沉一鸣。
融合是系统的能力,他没办法解释来源。
”一鸣。”左城拨通电话,”我有一个新的优化思路,你再试试。”
”什么思路?”
”。”左城说,”简单说,就是让编译器根据任务类型自动调整模型结构。”
”自适应编译?”沉一鸣有些困惑,”这听起来象是编译器优化……”
”对,就是编译器优化。”左城打断他,”但这次优化是针对AI模型的,不是通用程序。”
沉一鸣沉默了几秒。他知道左城不会无的放矢。
”好吧,我试试。”
---
第二天早上,沉一鸣发来消息。
”城哥,你在哪里?”
”在公司。”左城回复。
”来实验室。”
左城推开门,看到沉一鸣和方泽都站在计算机前。
他们的表情很奇怪。
不是沮丧,也不是兴奋,而是一种难以置信。仿佛看到了不可能发生的事情。
”怎么了?”左城问。
沉一鸣转过头,看着他。
”城哥。”他的声音有些发抖,”你到底是怎么做到的?”
”做到什么?”
”准确率。”沉一鸣指着屏幕,”
左城看了一眼屏幕。。。
”不只是准确率。”方泽开口,”功耗也降了。”
”多少?”
”。”方泽说,”。”。。
两个指标都大幅超过了目标。
左城没有说话。
他走到窗边,看着外面的阳光。
成功了。。
这个结果,足以让任何质疑他们的人闭嘴。林建华也不例外。
”城哥。”沉一鸣走到他身边,”你是怎么做到的?”
左城转过头,看着沉一鸣的眼睛。
那双眼睛里满是困惑和敬佩。
他不能告诉沉一鸣真相。
但他可以给一个合理的解释。
”我用的是一种新