即刻App年轻人的同好社区
下载
App内打开
带带城主
65关注2被关注0夸夸
(.)(.)
带带城主
1年前
从另一个角度来解读下文理科这个问题,角度是“语言系统本身有冗余性,掩盖了大模型的认知问题”
语言系统这么定义:用文字/声音作为信号来传递信息的通信系统
运作方式是:
1.输出方依据自身认知,在脑海中形成信息
2.输出方根据公共码本——也就是某种语言,将信息编码成语言信号,并进行传输
3.输入方接收到语言信号后,同样依据公共码本进行解码,在脑海中将其还原成信息
举个例子就是:我想表达天气很热这个信息,说:今天太阳好大。听的人结合情景,成功解码,回:是啊热死了。
作为通用的信号系统,为了保证信息传输的可靠性,语言是有大量冗余性和容错设计的,典型如撮别字不影响阅读,打乱序顺不影响阅读
,对话中口音之类也是
而这一点在专用信号系统如数学中是不存在的,你把1+1写成1x1结果就不一样
至于为什么会这样,盲猜是因为不同的使用场景下,一个更注重可靠性,一个更注重准确性
同时语言作为通信系统,又必须在可靠的同时兼顾效率,解决办法就是增加可解释性,同样的信号可以模糊命中多个样本空间,需要解码者结合情境来确定具体命中哪一个。
比如前面那个例子,也可以解释为讨论太阳的大小,但结合“闲聊”这个情境,可以明确命中的是“讨论天气”,而不是“天体物理”
高冗余性+高可解释性,带来的结果,可不就是文中所说的:命中的是一个模糊且连续的样本空间吗,这对人来说是成立的,但对大模型而言,反映的却是另一个问题:对信号背后信息本身的认知不准确问题
对人而言,语言信号是模糊的、可变的,但背后的信息是准确的、不变的,但大模型也是如此吗?我持怀疑态度
“认知客体具有稳定的同一性”这一点,是人类开展研究的基础共识,是隐藏前提,是我们从小对物质世界无数次观察、反馈后形成的认知
小小孩爱玩的一个游戏是妈妈在ta面前遮住脸然后露出来,孩子会对此感到开心,就是因为ta还没有形成“被遮住脸的妈妈露出后还是妈妈”这个认知。那这个认知是怎么形成的呢?因为物质世界到处是有稳定同一性的客体,收到的反馈多了,这个认知就形成了、牢固了、下意识了
但只能从信息世界获取反馈的大模型,有办法跟人类孩子一样,收到“现实世界是有稳定同一性的”这个反馈吗?如果没有,它要如何形成这个认知?
大模型之所以回答文科类问题像模像样,是因为它使用了语言系统,而语言系统本身是冗余+模糊的,人类可以通过解码得到自己想要的信息,但并不代表这个信息本身就是大模型想传递的
而当问题转化为理科类问题时,没有了冗余性的掩护,大模型自身认知信息不准喝的问题就暴露出来了

Diiiii: 目前制约大模型的主要瓶颈,还是逻辑推理能力的不足,从这个高考成绩中就能明显地体现出来。用简单粗暴地类比来说,现阶段的大模型确实更像是文科生,而不是理科生。 和雷老板聊这个事情,他认为现有的模型训练方法不适合理科/逻辑推理的训练,主要原因在于文科和理科的答案在空间分布上具有不同的形态。文科的答案分布是稠密而连续的,一句话可以有很多表述方法,稍微更改几个字并不影响其含义,因此 next token 并不存在唯一的解。而理科不一样,一道题的答案有明确的对错,不存在模棱两可的中间地带,因此理科训练的答案分布是离散而稀疏的,是空间中的很多“点解”。这就要求在训练时要给出非常极端的反馈,对于错误答案给出鲜明的惩罚,对于正确答案给出鲜明的奖励,没有灰色区域,不能和稀泥。 除了训练方法之外,另一个问题在于数据的准备。我们在学习理科的时候是有严格顺序的,比如先学加减乘除,再学平方开方,再学解方程。前一步搞定之前,是很难理解后面的。直接让小学生去看微积分,他们很难理解。另外,理科学习对于过程数据的要求会更多。这些对于数据的清洗、整理、投喂的过程都提出了不一样的要求。 再多联想一下,其实人脑在处理文理科问题的时候,调用的原本就是不同的脑区。目前的大语言模型更像是人脑的颞叶,专门用来处理与语言理解、听觉、记忆形成以及情感处理有关的问题。而人脑主要负责处理数学运算(以及触觉、方位感、手眼协调和空间定位)的脑区是顶叶 - 这是一个不同的模型。另外,人脑的枕叶主要负责视觉信息的处理,Tesla 的端到端自动驾驶模型,或许更类似于一个枕叶(+顶叶)的模型。 这样看来,在理科推理能力的训练上,或许要有一些不同的思路。目前 OAI 的思路看似有两个,一是继续大力出奇迹,把参数量、算力堆到x10,看看暴力美学能否搞定。类比人脑,这是在试图把颞叶做暴力进化,看看能否带来功能上的升级。二是为数学、编程这种理科能力单独训练模型,类比人脑,这是要训练一个独立的顶叶模型出来。OAI 的 CTO 前一阵子说,最多一年半,大模型就能从高中生变成博士生,不知道指的是哪条路线。拭目以待。

00
带带城主
2年前
感谢无畏契约治好了我的电子阳痿
00
带带城主
3年前
文心一言App已经用了一个月了,从小白用户视角说点问题

为什么是小白用户视角?因为主流市场就是小白用户构成的

如何证明是小白用户视角?我不会编程,不会翻墙,不懂技术,没学过提示词,办公就office三件套,App想起来就用,想不起来就不用,本色出演

问题一、没有娱乐属性

别跟我提学习,小白用户不爱学习

娱乐才是80%用户的80%需求

当我忙完手头那点枯燥工作,准备来点多巴胺刺激刺激脑神经时,文心一言能满足我么?不能

有抖音、王者,谁会想起文心一言?

问题二、不能主动触达用户

文心一言是我用过的唯一一个,没经过屏蔽设置,主动选择不骚扰我的App。

我是在码字时才想起来这茬的,加之这是百度的产品,体验十分魔幻

是我人品爆棚了?并没有这个自信

是百度良心发现了?这又绝无可能

问题只可能出在大模型本身

即便不要脸如百度,也没法在用户不问的情况下,逼文心一言开口

问题三、作为生产力工具,交互不够友好

一个月以来,我用文心一言写了十几篇总结,拟了几次调研提纲——都是在网页版

唯二两次用App:一次是给公号文章生成了一幅头图,这很不小白,所以我们忽略不计

一次是群里吹水生成一幅斗图,我想要的主题是一个太监骑着女骑友的机车,经过十几次尝试,文心一言始终get不到画面的精髓,要么不理解太监,要么不理解女骑友,幸好它是ai,不然场面十分尴尬

作为生产力工具,文心一言App还是太不友好了,这不是文心一言的问题,这是手机的问题

毕竟除了呼兰,谁会用手机写稿呢?
00
带带城主
5年前
今天的任务也很繁重呢,诸君
30
带带城主
5年前
来到即刻的第一天。
30