第102章 BPE算法完成!
她好像有点走神,一个简单的vocab.ite()写了好几次没运行成功。

    “认真点。”

    吴辰把手敲了敲她的脑袋。

    被教训的閔欣柔缩了缩脖子。

    不过看到吴辰认真的眼神,她也终於收敛思绪,开始认真思考了起来。

    这一次,她改代码的效率明显提升了不少。

    两个小时后,代码终於被改好了。

    最终的代码是这样:

    怀著激动的心情,閔欣柔运行了程序。

    她並没有直接对5000条数据进行分词,因为那会花几十个小时。

    所以她先用100条数据进行了测试。

    在程序运行的几分钟里,閔欣柔感觉异常的紧张。

    虽然吴辰教过她许多理论知识,但这还是第一次手把手的教她实际写代码。

    这种感觉很奇妙。

    所以一定要成功呀————

    少女在內心祈祷著。

    等程序终於运行完成后,她忐忑的点开了生成的分词文件。

    成功了!

    这一次,程序分词后的文件终於不是满屏单字和黏连的碎片了,而是规整的子词序列!

    就像这样:

    閔欣柔忍不住小小的欢呼了一声。

    与此同时,系统也发来了一条提示。

    【人工智慧:1级(30%—&a;a;gt:50%)】

    这一次,就连吴辰也忍不住笑了起来。

    完成bpe算法,竟然一次性提升了20%的进度!

    这样的话,他只要完成transforr架构的设计,那就能晋升人工智慧2级了!

    而等他这个月拿到科大讯飞和搜狗他们的数据,再加上自己马上可以生產的专用显卡的话————

    那gpt—1级別的人工智慧大语言模型,在2008年底的时候就有望完成!

    虽然当年openai完成这一步的时候没引起什么反响,但吴辰却有自己的计划。

    已经足够顛覆某些行业了!

    “乾的不错!”

    想到閔欣柔替自己省了两个月的时间,吴辰忍不住高兴的拍了拍她的脑袋瓜子。

    “唔————谢谢老师。”

    閔欣柔也很开心。

    不过她还是道:“老师,现在只是小规模的测试,完整的分词表还没做好呢,而且5000条帖子的数据不一定够呢!”

    “已经很不错了,等讯飞他们把数据送过来就行,剩下的时间你继续完善bpe算法,到时候直接就可以用了。”

    吴辰不在意道。

    对他来说,这种没有太多技术含量的工作交给別人就好。

    他要全力以赴的完成transforr架构的开发了。

    閔欣柔並不知道他的打算,不过她只要能帮吴辰完成工作就很开心了。

    两人开心了一会儿后,吴辰想起一件事。

    “这个成果足够写一篇论文了,等待程序运行的时候你可以学习一下怎么写论文。”

    “我可以吗?”

    閔欣柔愣了一下。

    抱歉今天更新晚了,主要是为了那几张截图写代码花了太久的时间。

    &a;a;gt;