第89章 吴辰帮的第一个成员
    第89章 吴辰帮的第一个成员

    閔欣柔对这个技术並不陌生。

    她立即举手道:“老师,基於词典和隱马尔可夫模型的分词吗?”

    这是2008年的主流做法,比如ictclas(中科院分词)系统就是这么干的。

    吴辰摇摇头。

    “不是,我们要用一种叫做bpe,也就是字节对编码的算法。”

    “它的原理大致是这样,不要预设字典,而是通过统计字符组合的频率,將最常见的字对合併成一个新的单位————”

    听完吴辰的讲解后,閔欣柔立即意识到这种算法完全顛覆了传统。

    就像word2vec让机器学会了自己翻译语言,这个bpe算法,让人类与机器的距离又靠近了一步!

    她兴奋道:“吴老师,那我们要从哪一部分开始呢,是先写统计脚本,还是先构建词表?”

    吴辰理解她的兴奋,同时惊嘆她的敏锐。

    bpe算法,是未来大语言模型的一大重要支柱。

    “从数据標註开始。”

    “那我的任务呢?”

    “去刷天涯论坛,然后在假期结束前完成5000条数据的標註,对一个帖子,你需要分辨出里面的好话、反话和脏话,並且標註情感正负向。”

    “老师,我明白了!”

    閔欣柔答应了下来。

    算上明天和后天,再加上长假七天,她总共有九天时间。

    如果要標註5000条数据,那就意味著她每天除了吃饭睡觉,至少要工作12个小时以上。

    手不能停,脑子更不能停。

    吴辰自然也明白这个道理,但他什么也没说。

    对閔欣柔的学习能力他很满意,所以想好好培养她。

    但这小姑娘有一个很大的缺点,就是太容易相信人。

    自己也没做多少事,她就这么信任自己,那她以后在社会上一定会吃亏。

    那吴辰不介意提前教她什么叫资本家的险恶。

    看了看时间,吴辰道:“我下午还要去学校,你在家自己呆著,我的电脑你直接用就好了,请假的事情我会和你们辅导员说。”

    閔欣柔点了点头。

    吴辰的电脑她之前已经用过,很熟练了。

    不过她有些难过的看著自己的右脚说:“老师,我今天受伤了,本来还打算做饭给您吃的。”

    她现在走几步都难,更別说站在灶台前了。

    吴辰奇怪的看了她一眼。

    “怎么不能————你这样。”

    他起身把电脑椅从书桌后搬过来,让閔欣柔坐上去后,推著她来到了厨房。

    “椅子下面有轮子,你去哪里都很方便,而且还能坐著做饭,多方便。

    安顿好閔欣柔以后,吴辰心情愉悦的去了学校。

    他真的很看好这小姑娘在学术上的天赋。

    其实bpe算法他花两个月左右就能完全搞定。

    但有了閔欣柔的帮忙,下个月她就能帮自己处理讯飞和天涯那边给的数据,省去自己很大的精力。

    那他就可以更专注的做关於注意力机制的研究了。

    这项技术,是transforr架构的核心。

    他不准备假手他人,必须自己牢牢掌握在手里。

    而对自己掌握的其他超前知识,他不介意找一支聪明人组成的核心团队来帮助自己研究。

    但相比聪明,更重要的是忠诚。

    而老师这个身份就非常容易培养出一批忠於自己的人。

    比如汉东省某个主观上不存在,但客观上存在的小团体。

    其实学生们要的真的不多,只是一份正常的报酬而已。

    所以吴辰很不理解高校里某些老师的做法,非要把学生当成牲口压榨,最后弄的一点香火情都没有。

    到学校停好车后,吴辰径直去了篮球场。

    下午是信工学院和国际教育学院教师组的篮球赛。

    由於王宏发要参赛,所以刘萍这个狗腿子就把签到地点定在了这里。

    到了以后,比赛已经开始了。

    吴辰瞅了一眼得分牌。

    不出意外,信工学院在王宏发的带领下,以负30分的比分大幅度领先於对方。

    眼看著比赛已经到了第四节,担任控球后卫的黄瑞杰急了。

    其实对学院荣誉什么的他也不在乎。

    但对面那个叫朴国昌的韩国中锋实在是让他恼火。

    不仅动作脏,嘴里还不乾不净。

    而且在美国上学的时候,黄瑞杰就被几个韩国人发生过衝突,对这帮人拿春节和端午节去申遗的强盗逻辑噁心的不行。

    没想到回国了以后还被欺负

本章未完,请点击下一页继续阅读>>