很简陋。
甚至可以说是“丑陋”。
“De虽然跑通了,证明了‘逻辑嵌入’这条路是可行的。但是,”徐辰看着代码里那几行关于盒子体积的计算公式,眉头微微皱起,“这个数学模型,太粗糙了。”
现在的模型,是用“超矩形”来表示概念。比如“猫”是一个小盒子,“动物”是一个大盒子。
这种表示法虽然直观,但在数学上有一个致命的缺陷——梯度硬截断。
当两个盒子完全没有交集时,体积重叠为0,梯度也瞬间变为0。这就意味着,反向传播在这里断掉了,神经网络学不到任何东西。为了解决这个问题,徐辰在代码里加了一个很丑的“平滑项”,但这只是权宜之计,治标不治本。
“这就象是用一堆方块去拼一个圆,无论怎么拼,边缘永远是锯齿状的。”
徐辰的数学强迫症犯了。
“必须要优化。我需要一个更‘光滑’的几何结构。”。
“为什么非要用盒子呢?”
“逻辑的本质是‘偏序关系’。在矢量空间里,能完美表达偏序关系的,不一定是闭合的盒子,也可以是……锥!”
“或者,引入高斯分布,利用KL散度来衡量包含关系?”
“不,高斯分布也不够好,它的尾部衰减太快,难以表达传递性。”
徐辰在草稿纸上画了几个图形,最终,他的笔尖停在了一个特殊的流形结构上。
Guel-Box(甘贝尔盒子)。
“如果引入极值理论中的Guel分布来对盒子的边界进行模糊化处理,就能让原本刚性的边界变得‘柔软’且处处可导。”
“这样一来,逻辑推理就不再是生硬的‘是’或‘否’,而是一个连续的概率流!”
……
“不过,还有一个逻辑上的漏洞。”
徐辰看着屏幕上新生成的Guel-Box模型代码,敏锐地捕捉到了一个潜在的问题。
“如果我把逻辑边界变得‘平滑’了,变成了一个连续的概率流,那这和传统的Transforr有什么本质区别?Transforr也是输出一个概
“如果我的模型也只是输出
“必须要有一把锁。”
徐辰的眼神变得犀利起来。
他迅速在代码的输出层之前,插入了一个全新的模块——逻辑门控单元。
“Guel-Box的平滑性,是为了在训练阶段让梯度能够流淌,让模型能‘学会’逻辑。但在推理阶段,也就是真正上考场的时候,这个平滑的边界必须瞬间‘硬化’。”
他在草稿纸上画了一个徒峭的Sigid函数。
“我设置一个逻辑置信度阈值τ(第十九个希腊字母,念做“套”)。当两个概念在几何空间里的重叠体积低于这个阈值时,说明它们在逻辑上几乎不兼容,比如‘猫’和‘植物’。”
“这时候,门控单元会象一把闸刀一样落下,直接将这个路径的概率强行截断为0!”
“传统的LLM是‘我觉得应该这么说’,而加了门控的LAART是‘虽然我想这么说,但几何逻辑告诉我,这么说是错的,所以我闭嘴’。”
“这才是完美的逻辑与生成的结合。”
解决了这个关键的机制问题,徐辰终于满意地点了点头。
……
搞定了数学模型的优化,摆在徐辰面前的,是另一个棘手的工程问题。
Benchrk(业内普遍直接用英语称呼,意思是基准测试)怎么选?
做AI研究,光有模型没用,你得拉出来溜溜。你得在公开的测试中,把以前的模型,比如Transforr、BERT、GPT等给考倒了,别人才承认你牛逼。
当年的Transforr为了证明它比以前的RNN和LSTM强,Google团队选择了“英德机器翻译数据集”。
这是一个非常经典的任务。评价标准是BLEU分数,也就是看机器翻译出来的句子,和人类翻译的句子,在词汇重叠度上有多高。。
“但是。我的模型优势不在于‘翻译’,也不在于‘文本生成’的流畅度。”
现在的GPT模型,靠着海量的语料堆砌,已经是天生的语言大师了。让LAART去跟它们比谁写诗写得好,谁翻译得溜,那是拿自己的短处去碰别人的长处。
LAART的内核优势是什么?
是逻辑。
是永远不会说“猫是植物””这种弱智错误的严谨性。
“用翻译数据集测逻辑,就象是考爱因