韩路一笑了笑:“这个事情不是我在管,我最近全专注在模型研发上面了,陆总要有兴趣,我可以请我的合伙人给您讲讲。”
话题移到了模型上面,在座的几个人兴趣都被提起来了。
庄院士先开口:“韩总,这个训练流程,你是亲自参与的?”
“我主要是负责一些收集数据方面的工作,真正的训练还是由我们的科学家团队负责。”韩路一谦虚道。
视哥给建的数据清洗管线,视哥给做的标注。
可不就是收集数据方面的工作吗?
邵教授接过话题:“汤圆一出来,动静很大啊,从我个人使用御风的体验来说,确实比之前用水星模型的时期要更智能一些。”
他一边说一边斟酌着问题的边界。
“我比较好奇一个问题,这么超出预期的一个表现,贵公司是怎么实现的呢?”邵教授问完,又赶紧补了一句:“您挑方便说的说,要是都不方便说也没关系,我绝对没有要问商业机密的意思啊。”
陆正平看了邵教授一眼,又看了韩路一一眼,想了想,还是没有出声制止。
韩路一倒是没什么感觉:“数据好。”
他自己知道,赵文渊对训练管线做了相应的微调,但那也是为了适应汤圆的原始数据和标注数据。
归根结底,汤圆能做出这个成绩,还是来源于韩路一出的数据。
毕竟,汤圆在训练的过程中也没有发明什么新的算法,也没切换什么新的路线。
它只是在这个方向上,这个规模上,把数据卷到极致了。
出来的效果就是这么好。
听了韩路一这么直接的回答,邵教授一愣。
他其实第一反应是不信,因为这条路不是没人走,包括硅谷的顶尖模型也在走,如果汤圆走的是同一条路的话,她凭什么做到了世界第一呢?
韩路一这边话没停,还详细地解释了一下:“汤圆的模型架构、训练方法都不是什么独特的发明,汤圆之所以能做到这个程度,核心原因就两点”
“一是在预训练阶段,数据的质量足够高。”
“二是在后训练和对齐阶段,标注数据的质量足够高。”
“我们不是把大量的垃圾喂进去,然后指望模型从垃圾堆里学知识,我们做的工作在训练之外,保证让每一个词元都有价值。”
这没有什么好隐瞒的,汤圆的护城河在数据上,不在训练方法上。
况且韩路一还馋着在座两位教授的影响力,自然愿意表现出一点儿诚意来。
在座的几个人,除了陆正平之外,都是业内的行家里手了,听了韩路一的话,都思考了起来。
这个理论不是新理论,但是方法听起来是个笨方法。
最大的问题是,这个方法很难scale(规模化)。
现在一个大模型几千上万亿的词元,你怎么去保证质量?
倒是陆正平听出来一点儿别的东西:韩总刚才是不是说他负责的部分就是数据收集来着?他刚才说的这两点,不都和数据有关吗?
这时候服务员开始进来上菜了,也就打断了几个人的思考。
菜上的很快,陆正平先起来提了一杯酒,庄院士又提了一杯酒,最后韩路一也提了一杯酒。
韩路一已经有点儿适应这种流程了,他也能看出坐着的章同学很不适应。
这不适应都快写到脸上了,不用视界也看得出来。
但是韩路一心里还有个小小的疑问:上次见周涵的时候,她小心翼翼的样子让韩路一印象深刻。不是说不让喝酒宴请了吗?怎么陆正平不在乎这个?
吃了会菜,章同学也过来和韩路一敬了一杯酒,是老师让他来敬的。
但他喝完酒没走,接着刚才的话题又聊了起来:“韩总,我觉得光凭数据做不到这么强。”
这话声音不大,只有韩路一听见了。
苏念念平时说我情商低,这有一个比我还低得多的啊。韩路一默默想到。
“章博士,那你有什么看法?”韩路一问道。
章同学先是摆摆手,说道:“我还不是博士呢,下个月才答辩。”
然后他又换了个方向:“韩总,汤圆的API现在还没开放吧?你说欢迎同行交叉测评,发布会那天我就发了邮件申请,到现在都没回复。”
“御风虽然好用,但是严格来说,这不能说明汤圆这个模型能力强,甚至也不能证明它真的是自研的。”
韩路一听了这话,才是真对章同学的情商服气了。
这是怀疑我造假呢。
真的猛。
他这话旁边的陆正平也听见了。陆正平清了清嗓子,正要说话,韩路一先开口了。
“章同学,自从发布会之后,我们确实接到了很多想要