首页
学霸的征途是星辰大海 > 第135章 逻辑与生成的结合(1/3)
加入书签

第135章 逻辑与生成的结合(1/3)

虽然方博被那一夜速成的代码震得怀疑人生,但在徐辰眼里,屏幕上那个正在跑的Deo,其实……

很简陋。

甚至可以说是“丑陋”。

“Deo虽然跑通了,证明了‘逻辑嵌入’这条路是可行的。

但是,”徐辰看着代码里那几行关于盒子体积的计算公式,眉头微微皱起,“这个数学模型,太粗糙了。”

现在的模型,是用“超矩形”来表示概念。

比如“猫”是一个小盒子,“动物”是一个大盒子。

这种表示法虽然直观,但在数学上有一个致命的缺陷——梯度硬截断。

当两个盒子完全没有交集时,体积重叠为0,梯度也瞬间变为0。

这就意味着,反向传播在这里断掉了,神经网络学不到任何东西。

为了解决这个问题,徐辰在代码里加了一个很丑的“平滑项”,但这只是权宜之计,治标不治本。

“这就像是用一堆方块去拼一个圆,无论怎么拼,边缘永远是锯齿状的。”

徐辰的数学强迫症犯了。

“必须要优化。

我需要一个更‘光滑’的几何结构。”

他的大脑飞速运转,LV.

2的数学直觉开始接管键盘。

“为什么非要用盒子呢?”

“逻辑的本质是‘偏序关系’。

在向量空间里,能完美表达偏序关系的,不一定是闭合的盒子,也可以是……锥!”

“或者,引入高斯分布,利用KL散度来衡量包含关系?”

“不,高斯分布也不够好,它的尾部衰减太快,难以表达传递性。”

徐辰在草稿纸上画了几个图形,最终,他的笔尖停在了一个特殊的流形结构上。

Gubel-Box(甘贝尔盒子)。

“如果引入极值理论中的Gubel分布来对盒子的边界进行模糊化处理,就能让原本刚性的边界变得‘柔软’且处处可导。”

“这样一来,逻辑推理就不再是生硬的‘是’或‘否’,而是一个连续的概率流!”

……

“不过,还有一个逻辑上的漏洞。”

徐辰看着屏幕上新生成的Gubel-Box模型代码,敏锐地捕捉到了一个潜在的问题。

“如果我把逻辑边界变得‘平滑’了,变成了一个连续的概率流,那这和传统的Transforr有什么本质区别?

Transforr也是输出一个概率分布,预测下一个词是‘猫’的概率是80%,是‘狗’的概率是20%。”

“如果我的模型也只是输出一个软绵绵的概率,那它依然可能会在那20%的时候胡说八道。”

“必须要有一把锁。”

徐辰的眼神变得犀利起来。

他迅速在代码的输出层之前,插入了一个全新的模块——逻辑门控单元。

“Gubel-Box的平滑性,是为了在训练阶段让梯度能够流淌,让模型能‘学会’逻辑。

但在推理阶段,也就是真正上考场的时候,这个平滑的边界必须瞬间‘硬化’。”

他在草稿纸上画了一个陡峭的Sigoid函数。

“我设定一个逻辑置信度阈值τ(第十九个希腊字母,念做“套”)。

当两个概念在几何空间里的重叠体积低于这个阈值时,说明它们在逻辑上几乎不相容,比如‘猫’和‘植物’。”
本章未完,请翻下一页继续阅读.........

附近章节

全部 ›