第一百六十七章 重启SLRM研究 三
SLRM带来的经济价值足够大的前提下。

    ……

    随后,徐辰又思考了一下,SLRM应该还有其他2个问题。

    一个是泛化能力的边界。

    SLRM的强大,创建在“逻辑可形式化”的基础上。

    对于数学题、逻辑题、代码生成这种有着严格规则的任务,它简直就是神。

    但是,对于那些模糊的、感性的、没有标准答案的任务呢?

    徐辰目前在这几个测试集中能有较好表现,本质上是因为这些数据本身含有逻辑信息,可以训练模型。

    但是,现实世界中的逻辑关系千奇百怪。

    比如“猫”。在生物学上,它是猫科动物;在文学上,它可能是“高冷”的代名词;在网络文化里,它甚至是“主子”。

    而且有些场景就是天然弱逻辑的,比如写诗,比如闲聊,比如情感咨询。

    SLRM的几何约束太强了,它象一把铁钳,死死地卡住了模型发散思维的翅膀。它不允许模型说任何“逻辑不严谨”的话,哪怕那是修辞,是比喻,是艺术。

    “成也逻辑,败也逻辑。”

    “看来,未来还需要设计一个更灵活的‘调度器’,让模型知道什么时候该用SLRM,什么时候该放飞自我。但这又是一个巨大的工程量。”

    ……

    另一个问题,是训练数据的匮乏。

    徐辰目前能跑出SOTA,是因为他用的这几个数据集(SNLI、LogiQA等)都是经过人工精心标注的高质量逻辑数据。

    但是,这种数据在海量的互联网文本中,占比极低。

    想要让SLRM真正具备通用的逻辑能力,就需要海量的、复盖各种领域(法律、医学、常识)的逻辑数据来训练。

    “没有数据,SLRM就是个空壳子。”

    “而且,不同的逻辑问题下,逻辑的判断归属是不一样的。这依然需要强大的参数量来拟合。”。

    “如果要记住更多的逻辑,可能要把SLRM扩大到7B,甚至70B,再配合海量的逻辑数据。“

    “到时候,它和Transf

    “也就是说一个7B的transforr架构的模型,加之7B的SLRM模型,组合起来,可能有超过100B参数的能力。”

    “但是……我是没有能力搞到这么多数据了。”

    ……

    经过一番实操,徐辰得出了结论:

    “这个模型学术成果价值比较强,走产业化路线,还有很大的空间。”

    “不过,因为是系统出品,我对这个方向的产业化还是比较有信心的。”

    徐辰又转念一想,“现在这样,作为学术成果,其实刚刚好。”

    “既展示了颠复性的潜力,又留下了足够的改进空间给后来人。”

    “这,才是一篇顶级论文该有的样子。”

    他甚至可以预见,这篇论文一旦发表,将会养活多少嗷嗷待哺的AI方向研究生。

    “《基于SLRM的医疗问答系统优化》、《SLRM在法律文书生成中的应用》、《一种改进的Guel-Box几何嵌入算法》……”

    徐辰掰着手指头数了数,忍不住笑出了声。

    “光是把SLRM里的几何图形换成‘球’、‘锥’、‘高斯分布’,就能水出几十篇论文。”

    “再把应用场景换一换,从数学题换成代码生成、换成情感分析,又能水出几百篇。”

    “更别提那些搞硬件加速的,搞模型量化的,搞分布式训练的……这简直就是给整个AI圈送了一波‘全家桶’级别的选题啊!”

    “我这哪里是发论文,我这是在给全球AI界创造就业岗位啊!”

    “功德无量,功德无量。”

    徐辰双手合十,一脸慈悲。