从另一个角度来解读下文理科这个问题,角度是“语言系统本身有冗余性,掩盖了大模型的认知问题”
语言系统这么定义:用文字/声音作为信号来传递信息的通信系统
运作方式是:
1.输出方依据自身认知,在脑海中形成信息
2.输出方根据公共码本——也就是某种语言,将信息编码成语言信号,并进行传输
3.输入方接收到语言信号后,同样依据公共码本进行解码,在脑海中将其还原成信息
举个例子就是:我想表达天气很热这个信息,说:今天太阳好大。听的人结合情景,成功解码,回:是啊热死了。
作为通用的信号系统,为了保证信息传输的可靠性,语言是有大量冗余性和容错设计的,典型如撮别字不影响阅读,打乱序顺不影响阅读
,对话中口音之类也是
而这一点在专用信号系统如数学中是不存在的,你把1+1写成1x1结果就不一样
至于为什么会这样,盲猜是因为不同的使用场景下,一个更注重可靠性,一个更注重准确性
同时语言作为通信系统,又必须在可靠的同时兼顾效率,解决办法就是增加可解释性,同样的信号可以模糊命中多个样本空间,需要解码者结合情境来确定具体命中哪一个。
比如前面那个例子,也可以解释为讨论太阳的大小,但结合“闲聊”这个情境,可以明确命中的是“讨论天气”,而不是“天体物理”
高冗余性+高可解释性,带来的结果,可不就是文中所说的:命中的是一个模糊且连续的样本空间吗,这对人来说是成立的,但对大模型而言,反映的却是另一个问题:对信号背后信息本身的认知不准确问题
对人而言,语言信号是模糊的、可变的,但背后的信息是准确的、不变的,但大模型也是如此吗?我持怀疑态度
“认知客体具有稳定的同一性”这一点,是人类开展研究的基础共识,是隐藏前提,是我们从小对物质世界无数次观察、反馈后形成的认知
小小孩爱玩的一个游戏是妈妈在ta面前遮住脸然后露出来,孩子会对此感到开心,就是因为ta还没有形成“被遮住脸的妈妈露出后还是妈妈”这个认知。那这个认知是怎么形成的呢?因为物质世界到处是有稳定同一性的客体,收到的反馈多了,这个认知就形成了、牢固了、下意识了
但只能从信息世界获取反馈的大模型,有办法跟人类孩子一样,收到“现实世界是有稳定同一性的”这个反馈吗?如果没有,它要如何形成这个认知?
大模型之所以回答文科类问题像模像样,是因为它使用了语言系统,而语言系统本身是冗余+模糊的,人类可以通过解码得到自己想要的信息,但并不代表这个信息本身就是大模型想传递的
而当问题转化为理科类问题时,没有了冗余性的掩护,大模型自身认知信息不准喝的问题就暴露出来了