第173节
出声道,“您可以看看我们的成果。”

    江松然把注意力放在眼前的屏幕上,这才注意到仓库里还有别的文件夹。

    SDPA、LayerNorRMSNorSoftx、GELU、SiLU、Rotary Eedding、FlashAttention、Ada、All-Reduce。

    一共十个文件夹,每一个对应一个算子的完整实现。

    江松然的手指不自觉地点向触控板,但又停住了这不是他的电脑。

    “您可以自己看。”韩路一重复了一遍刚才的话。

    江松然这才开始翻看。

    江松然先点开了SDPA的文件夹,和论文里的实现对了一下,确认是同一套代码。

    然后他开始翻别的算子。

    看了两个之后,他皱起了眉。

    “这些跑过benchrk吗?”

    “每个算子都有对应的性能测试,”韩路一说,“和N卡cuDNN的基准线对比,最低的80%,最高的91%。README里有完整数据。”

    江松然点开了一个README,扫了一下数据表格。确实不是个玩具项目,是认真做过对照的。

    “多卡通信验证了吗?”

    “4卡和8卡都跑过。All-Reduce是自己写的。”