即刻App年轻人的同好社区
下载
Meta AI论文的启示： 为什么人类的语言预测能力远超 LLMs ？
如果你是人类语言和AI 双栖爱好者，Meta AI的这篇研究论文《人脑听语音的预测性编码层次的证据》对你会非常有价值， 而且意义重大。 （没有技术门槛，别担心）
在AI疯狂进化的年代，大多数人会本能认为 LLMs 很快会超越人类智能；这其实是错的，一种鱼不知水（神经机制和语言学）洞穴效应导致的。Meta AI 最新研究可以让我们正视生物意义的大脑到底有多强大。
🦜先说结论：
人类语言的智能是远超LLMs的，无论处理语法结构复杂性、语言理解的模糊性，以及制造语言隐喻、修辞的多样性、语法的递归力等，更不用说新想法、新概念的创造力。
通过分析304名听短篇故事的人的大脑信号来分析， 用fMRI记录他们的大脑活动；研究发现，通过长期和多级预测来增强这些模型可以改善这种大脑映射。根据预测编码理论，研究结果揭示了皮层中语言预测的分层组织和多个时间尺度的预测能力。
所谓不同的时间尺度：
大脑不同区域的各司其职， 新皮质负责复杂推理获得长期预测，旧皮质进行短期快速反应，得到了更多维的预测能力。 当然，各区域不仅是独立还联动，视频中是简化的多时间尺度模型示意 。
（例如预测John和Lisa的恋情最终会如何发展是否会有一个浪漫的婚礼属于长期预测；而LLM很难进行这种基于多个复杂时间整体的长期预测，至多只能对下一步事件进行推理，例如Lisa会着正装还是晚装去赴约等,而无法推理事件的最终结果。）
具体来说，它发生在不同脑区不断进行多「时间尺度」的预测能力（下一个词句预测和下一个章节的预测），稍微回归常识和自己的经验，就能会发现这些预测能力令人惊叹又令人熟悉， 它符合我们阅读、观影和游戏时的心流感知。
为了降低阅读门槛，特意采取了问答模式， 所有 问题/Prompt 是有思维顺序，放出来方便大家自己参考尝试。
我使用的是Claude+ ，你也直接拿去走一遍New Bing或者 ChatGPT。
🔗全部问答和 Prompt 附送如下：
Q1：你现在AI 专家和语言学家，开始和我讨论一篇重要的论文， 这篇内容涉及到人类语言的独特能力和LLMs的差异，目标是让普通中学生也挺清楚文中的要点、实验方法和重要推论。请先试着先总结一下Meta AI这篇论文的主要观点：www.nature.com
Q2：这很有趣， 毕竟大部分普通人并不了解人类语言的超能力，就像鱼不知水。 那么，请先介绍一下为什么人类语言能力非常强大呢？ 具体表现在哪些方面？
Q3：就这篇论文的研究发现来说，有什么具体的证据来表现人类语言的强大？
Q4：请介绍一下理解测试中Winograd Schema Challeng和Definite Pronoun Resolution 具体思路和测试方法。尽量简洁，并试着给出一些例子。
Q5：很好， 类似地， 请介绍 共识知识中Story Cloze Test和Event2Mind的实验方法并试着举例
Q6：在这 Story Cloze Test (SCT) 和 Event2Mind (E2M) 的测试中，LLM也难以做好的原因是？
Q7：这篇论文还提到了 人脑预测的时间尺度问题， 请简要介绍一下， 相关的发现
Q8：这里的短期预测和长期预测，有没有具体的例子
Q9: 是否可以理解为大脑的多个区域同时在协作、联动， 并各司其职把不同时间尺度的预测进行整合？ 能否稍微展开所说， 大脑是如何实现这一点的
Q10：我明白你的意思， 前额叶等新皮质推理产生长期预测， 而其他旧皮质产生短期预测，而且多个时间尺度之间还在持续互动。 大脑太酷了~
Q 11：那么， 在这篇论文，是否什么实验防范（方法）来验证一点的？ 对应LLMs 有什么数据表现？
Q12：请稍微展开解释一下这两个实验SCT和E2M，并分别举个例子
Q13：不错。论文中提到的预测编码理论， 能否再简单说明一下？ 并将大脑和LLMs进行对比一下
Q14：相当酷，论文中是否还包含了LLMs 如何进化，才能接近人类语言的这种多维度时间尺度的预测能力？
Q 15: 多模态是能大大改善这种不同时间尺度的预测能力？
后记：
大脑的本质是预测机器， 语言只是思维能力的一个表现， 我们目前无需被夸张的媒体炒作 AGI 而担心；为什么不借助强大工具，先探索大脑这个宇宙最复杂、神秘事物呢。
采取问答对的分享形式，也是一次新探索；如果你觉得有趣或者有其他建议，欢迎留言发表高见。 Enjoy！
如果你是人类语言和AI 双栖爱好者，Meta AI的这篇研究论文《人脑听语音的预测性编码层次的证据》对你会非常有价值， 而且意义重大。 （没有技术门槛，别担心）
在AI疯狂进化的年代，大多数人会本能认为 LLMs 很快会超越人类智能；这其实是错的，一种鱼不知水（神经机制和语言学）洞穴效应导致的。Meta AI 最新研究可以让我们正视生物意义的大脑到底有多强大。
🦜先说结论：
人类语言的智能是远超LLMs的，无论处理语法结构复杂性、语言理解的模糊性，以及制造语言隐喻、修辞的多样性、语法的递归力等，更不用说新想法、新概念的创造力。
通过分析304名听短篇故事的人的大脑信号来分析， 用fMRI记录他们的大脑活动；研究发现，通过长期和多级预测来增强这些模型可以改善这种大脑映射。根据预测编码理论，研究结果揭示了皮层中语言预测的分层组织和多个时间尺度的预测能力。
所谓不同的时间尺度：
大脑不同区域的各司其职， 新皮质负责复杂推理获得长期预测，旧皮质进行短期快速反应，得到了更多维的预测能力。 当然，各区域不仅是独立还联动，视频中是简化的多时间尺度模型示意 。
（例如预测John和Lisa的恋情最终会如何发展是否会有一个浪漫的婚礼属于长期预测；而LLM很难进行这种基于多个复杂时间整体的长期预测，至多只能对下一步事件进行推理，例如Lisa会着正装还是晚装去赴约等,而无法推理事件的最终结果。）
具体来说，它发生在不同脑区不断进行多「时间尺度」的预测能力（下一个词句预测和下一个章节的预测），稍微回归常识和自己的经验，就能会发现这些预测能力令人惊叹又令人熟悉， 它符合我们阅读、观影和游戏时的心流感知。
为了降低阅读门槛，特意采取了问答模式， 所有 问题/Prompt 是有思维顺序，放出来方便大家自己参考尝试。
我使用的是Claude+ ，你也直接拿去走一遍New Bing或者 ChatGPT。
🔗全部问答和 Prompt 附送如下：
Q1：你现在AI 专家和语言学家，开始和我讨论一篇重要的论文， 这篇内容涉及到人类语言的独特能力和LLMs的差异，目标是让普通中学生也挺清楚文中的要点、实验方法和重要推论。请先试着先总结一下Meta AI这篇论文的主要观点：www.nature.com
Q2：这很有趣， 毕竟大部分普通人并不了解人类语言的超能力，就像鱼不知水。 那么，请先介绍一下为什么人类语言能力非常强大呢？ 具体表现在哪些方面？
Q3：就这篇论文的研究发现来说，有什么具体的证据来表现人类语言的强大？
Q4：请介绍一下理解测试中Winograd Schema Challeng和Definite Pronoun Resolution 具体思路和测试方法。尽量简洁，并试着给出一些例子。
Q5：很好， 类似地， 请介绍 共识知识中Story Cloze Test和Event2Mind的实验方法并试着举例
Q6：在这 Story Cloze Test (SCT) 和 Event2Mind (E2M) 的测试中，LLM也难以做好的原因是？
Q7：这篇论文还提到了 人脑预测的时间尺度问题， 请简要介绍一下， 相关的发现
Q8：这里的短期预测和长期预测，有没有具体的例子
Q9: 是否可以理解为大脑的多个区域同时在协作、联动， 并各司其职把不同时间尺度的预测进行整合？ 能否稍微展开所说， 大脑是如何实现这一点的
Q10：我明白你的意思， 前额叶等新皮质推理产生长期预测， 而其他旧皮质产生短期预测，而且多个时间尺度之间还在持续互动。 大脑太酷了~
Q 11：那么， 在这篇论文，是否什么实验防范（方法）来验证一点的？ 对应LLMs 有什么数据表现？
Q12：请稍微展开解释一下这两个实验SCT和E2M，并分别举个例子
Q13：不错。论文中提到的预测编码理论， 能否再简单说明一下？ 并将大脑和LLMs进行对比一下
Q14：相当酷，论文中是否还包含了LLMs 如何进化，才能接近人类语言的这种多维度时间尺度的预测能力？
Q 15: 多模态是能大大改善这种不同时间尺度的预测能力？
后记：
大脑的本质是预测机器， 语言只是思维能力的一个表现， 我们目前无需被夸张的媒体炒作 AGI 而担心；为什么不借助强大工具，先探索大脑这个宇宙最复杂、神秘事物呢。
采取问答对的分享形式，也是一次新探索；如果你觉得有趣或者有其他建议，欢迎留言发表高见。 Enjoy！
00:24
49 1333
来自圈子
AI探索站
64962人已经加入