出声道,“您可以看看我们的成果。”
江松然把注意力放在眼前的屏幕上,这才注意到仓库里还有别的文件夹。
SDPA、LayerNorRMSNorSoftx、GELU、SiLU、Rotary Eedding、FlashAttention、Ada、All-Reduce。
一共十个文件夹,每一个对应一个算子的完整实现。
江松然的手指不自觉地点向触控板,但又停住了这不是他的电脑。
“您可以自己看。”韩路一重复了一遍刚才的话。
江松然这才开始翻看。
江松然先点开了SDPA的文件夹,和论文里的实现对了一下,确认是同一套代码。
然后他开始翻别的算子。
看了两个之后,他皱起了眉。
“这些跑过benchrk吗?”
“每个算子都有对应的性能测试,”韩路一说,“和N卡cuDNN的基准线对比,最低的80%,最高的91%。README里有完整数据。”
江松然点开了一个README,扫了一下数据表格。确实不是个玩具项目,是认真做过对照的。
“多卡通信验证了吗?”
“4卡和8卡都跑过。All-Reduce是自己写的。”