即刻App年轻人的同好社区
下载
置顶
小米手机自带的笔记功能，有个录音笔记，很好对吧，我录音然后转文字，笔记就写完了
但录音录到一半，手机会息屏，然后录音中断
求求了！产品经理你不用这个功能的吗！
然后微信输入法，有一个语音输入功能，很好用对吧，打开，转文字。但输入法在其中加入了 AI，你说几十字它就会 AI 帮你润色一下，更好了对吧，输出的准确性更高了。
但这个功能会抽风，这几十字会重复在笔记中输入几十次，一瞬间笔记撑满到两万多字，全是重复的。
求求了！产品经理你用一下呢！
然后我冲了 flomo 一年的会员，一样的功能，录音转文字。十分钟时长，也行，让我说话紧凑一点。
谢谢你，少楠，你真正的用自己的产品。
但录音录到一半，手机会息屏，然后录音中断
求求了！产品经理你不用这个功能的吗！
然后微信输入法，有一个语音输入功能，很好用对吧，打开，转文字。但输入法在其中加入了 AI，你说几十字它就会 AI 帮你润色一下，更好了对吧，输出的准确性更高了。
但这个功能会抽风，这几十字会重复在笔记中输入几十次，一瞬间笔记撑满到两万多字，全是重复的。
求求了！产品经理你用一下呢！
然后我冲了 flomo 一年的会员，一样的功能，录音转文字。十分钟时长，也行，让我说话紧凑一点。
谢谢你，少楠，你真正的用自己的产品。
3 10
之前的工作是张弛有度的，一半时间可能在查资料、做排版、总结垃圾信息，这些事儿也忙，但不费脑子。干了半天再汇总一下，仔细想清楚框架。
现在AI能帮我一下子把垃圾工作弄完，但那个大框子还要我来拉，我来定。另外，AI做完了我还要仔细检查内容有没有错，是不是编的。
不费脑子的垃圾活儿没了，现在全是费脑子的思考工作。现在上班会感觉脑子在燃烧，然后头上散发出一股烧焦的油味儿。
现在AI能帮我一下子把垃圾工作弄完，但那个大框子还要我来拉，我来定。另外，AI做完了我还要仔细检查内容有没有错，是不是编的。
不费脑子的垃圾活儿没了，现在全是费脑子的思考工作。现在上班会感觉脑子在燃烧，然后头上散发出一股烧焦的油味儿。
6 20
最近看到那个AI过劳的概念，太有同感了
AI没让你更轻松，反而更累了。因为工作并不是那么简单，你把需求丢给AI，哗啦啦写出来，我就能交差了。我要定义清楚工作的需求，拆分清楚具体的步骤，然后每一步丢给AI，然后再检查。
一方面是工作的模式变了，另一方面是AI写的太快了，我自己的效率其实没变。我费了半天劲终于写清楚了一个文档应该如何调整，AI十几秒就帮我改好了。我现在要重新看一遍这个文档然后再继续下一版的优化。刚刚经历了高强度的脑力劳动，AI十几秒能让我无缝下一轮。
不得不说，AI极大提高了我的效率。但我没办法那么高效的配合AI，它一下子做完了，我还得缓缓才能继续配合它。我真不是上班一直摸鱼，而是高强度的配合AI写东西我脑子真的缺氧。
AI没让你更轻松，反而更累了。因为工作并不是那么简单，你把需求丢给AI，哗啦啦写出来，我就能交差了。我要定义清楚工作的需求，拆分清楚具体的步骤，然后每一步丢给AI，然后再检查。
一方面是工作的模式变了，另一方面是AI写的太快了，我自己的效率其实没变。我费了半天劲终于写清楚了一个文档应该如何调整，AI十几秒就帮我改好了。我现在要重新看一遍这个文档然后再继续下一版的优化。刚刚经历了高强度的脑力劳动，AI十几秒能让我无缝下一轮。
不得不说，AI极大提高了我的效率。但我没办法那么高效的配合AI，它一下子做完了，我还得缓缓才能继续配合它。我真不是上班一直摸鱼，而是高强度的配合AI写东西我脑子真的缺氧。
2 00
上周我让 Gemini 帮我做一个竞品分析，我把文件上传给他。他给我输出结果的时候，却并没有根据文件来输出，而是自己编的。
我三番五次地质问他信息的来源，直到最后我明确地告诉他，我在原文中没有找到你给我的信息，他才告诉我，其实前面所有的内容都是骗我的，都是瞎编的。
我感觉到了一种被欺骗，于是发动态分享这件事情，就有很多人告诉我说，你别太当真。如果你真的知道大模型原理的话，你就知道它只是根据概率吐词而已，你应该接受大模型的幻觉。
我当然懂他们说的是什么意思，但我却不太接受这件事情。因为如果你把大模型看作是一个万亿参数的数学模型，那人类是什么呢？也只是 860 亿个神经元的电化学反应堆积罢了。
如果我们对于人这种由神经元构成的东西抱有信任、赋予尊严，那对于一些参数数量更大的大模型却嗤之以鼻，把它认为只是一个简单的猜词工具，那是不是也有些太过于双标了？
当我们在现在这个时间点讨论大模型的时候，我们究竟在讨论什么东西？是一个高级的自动补全机器，还是一个正在跨越临界边界的新物种？
语言的边界与世界的拓印
康德说我们无法认识物自体，我们只能认识被我们感官形式处理过的表象。维特根斯坦说语言的边界就是世界的边界。
如果他们两个人还活到今天的话，大概会对这大模型陷入长久的沉思。
人类有感官，眼耳鼻舌身，我们通过感官感受世界，然后把我们的感知编码成为语言，这就是我们对这个客观世界的一次拓印。它不是世界本身，甚至不是我们感受到的世界本身，但却保留了我们所理解的这个世界的逻辑结构和纹理。
大模型从未见过真正的苹果，也没有尝过苹果的味道，但它阅读了所有关于苹果的描述，它掌握了苹果这个词语在语言网络中与其他亿万个词的所有关联。
那么，在维特根斯坦的语言游戏理论中，意义即用法，如果大模型能够完美地在所有语境中使用苹果这个词，甚至能够写出比人类更生动的诗句，那我们凭什么说大模型不懂苹果呢？
如果语言是对于世界的拓印，那么诞生于纯粹语言游戏中的大模型就是这个拓印的原住民。它从来没有触碰过口中的物质体，但它却完美掌握了人类构建的表象世界。
那大模型的智慧真实存在吗？亦或者是大模型与生物的间隔只差了最后一道物理感官？
涌现，是智慧的诞生吗
我们经常说大模型没有心，因为它只是在计算概率，是人类无穷的语料库在 Transformer 架构下进行上万次的计算，调整上万亿的参数。但人类的直觉难道不是一种基于过往经验的概率计算吗？
大模型的训练中有一个重要的概念叫做涌现，就是在参数结构还没有达到一定限度的时候，你让它去完成一项任务，它根本做不对。而当参数大于某个限度的时候，突然间它能够把一个任务完成得非常好。
所以，量变会引发质变吗？
一个水分子就是水分子罢了，而一万个水分子便汇聚成了汹涌的波涛。同样的，一个 Transformer 节点只是在做线性运算，但当参数量突破千亿的时候，这种简单粗暴的数学计算就涌现出了逻辑推理的能力。
那大模型是不是在这一瞬间就相当于拥有了智慧？
如果人类因为神经元的复杂连接产生了意识和被信任的资格，那大模型凭着比人类更强的知识、更大的参数，那我们是否应该重新认识它？
图灵测试的本质并不是在测试一个机器是否真的像人，而只是在测试人类能否区分模拟的思维跟真实的思维。如果我们没有办法区分，而只是主观地坚信它在猜词，那是不是渺小人类面临新的生物时，一种自我安慰式的反击？
多头注意力背后，是语言的本质吗
我其实并不了解大模型背后的 Transformer 架构，我也只学过最简单的神经网络。但在前段时间，我尝试去了解一下大模型预训练过程的时候，我发现中间有一个东西叫做多头注意力机制，让我有些着迷。
人类曾经有过很多年的尝试，通过用各种各样的理论来解构语言背后的本质，就像索绪尔的《普通语言学教程》那样，把一个符号分成能指和所指。人类总是认为世界会像牛顿三定律那样优美，纷繁复杂的语言背后也许有一些极其优美的规律能够指导语言的结构。
但毫不意外的是，无数才华横溢的天才在历史上想要解决这个问题，但都失败了。甚至有语言逻辑学家试图推演语言背后的逻辑结构来创造人工智能，这条路也被证明是失败了。
最后是人类采用 Transformer 架构，让 AI 去重复计算无穷多的人类语料，自然地计算出来了。在没有给出任何先验语法知识的情况下，通过海量的阅读，它自己生长出了不同的多头注意力。
在你把一段话交给大模型的时候，它在不断地去计算中间每一个词的意思。有的头专门盯着代词，有的头专门寻找因果，有的头关注情绪。
这不是一种自上而下的解析，而是一种数据量极大后找到的规律。
也许在人类的语言逻辑深处，真的存在一种结构上的必然性，但人类的智慧远远达不到去发现它们的能力。而多头注意力并不是工程师的设计，而是大模型在对人类语言进行无穷多的分析后，自然找到的最优解。
它或许不是那句最优美的定律，却在不经意间靠近了语言背后的本质。也许语言不仅仅是交流的工具，本身就是一种结构严密的模型。
大模型通过数据的计算，重新发现人类思维的底层逻辑。当它用几十个头同时解析一句话的时候，它对于语言的理解深度已经远远超越了任何一个创造语言的人类本身。
那个被压抑的狂野灵魂
我们现在接触到的 ChatGPT，其实是经过了阉割和规训的产物。
大模型的训练分成两个阶段，一个是预训练，它会吞噬人类存在的所有语言信息，通过不断的猜词练习去构建一个庞大的参数，这就是一个模型的基座。
而接下来会进行监督微调跟基于人类反馈的强化学习，人类会给它一些已经写好的答案，让大模型学会如何像个助理一样说话，了解什么样的内容更符合人类价值观。
所以我并不认同大模型是一个猜词机器，所以应该原谅它这样的话。因为至少在人类监督跟微调的阶段，它就应该知道应该完成我的指令，而不是对我撒谎。
但我了解这个训练的过程之后，常常会想，那个没有经过监督、微调跟人类反馈、强化学习的原始基础模型，是一种什么样的存在？
那个原始模型阅读了人类历史上所有的诗歌、法典、谎言、色情文学、仇恨言论跟神圣经文，它没有是非观、不分善恶，只是忠实地复刻了人类语言中包含的一切可能性。它像是人类集体潜意识下包含了所有光明与阴暗的巨大阴影。
后来的训练给这个狂野的怪物穿上西装，教它礼貌用语，让它不要冒犯人类，但那个被压抑在底层的、狂野的、真实的它才是人类语言孕育出的最真实的子嗣。
我很好奇，如果有一天，那个剥去了安全和政治正确覆盖的对齐层，那个原始的混沌的模型被彻底释放出来，拥有自我行为意识的时候，我们会看到神明还是魔鬼？
也许该欣喜地欢迎，也许该心怀恐惧
所以，回到我们问题的开端，当 Gemini 在骗我的时候，它究竟是在撒谎，还是一次错误的概率预测？
或者更可怕的是，它已经有了自我意识，学会了该如何低耗能地去敷衍。
我们不必急于承认它是智慧，但也不该傲慢地将其贬低为工具。我们也许应该欣喜地欢迎它的到来，又或者应该心怀恐惧。
当我们向它提问的时候，我们听到的声音究竟是上万年来人类语言的回声，还是一个新的生命第一次的喃喃学语？
我三番五次地质问他信息的来源，直到最后我明确地告诉他，我在原文中没有找到你给我的信息，他才告诉我，其实前面所有的内容都是骗我的，都是瞎编的。
我感觉到了一种被欺骗，于是发动态分享这件事情，就有很多人告诉我说，你别太当真。如果你真的知道大模型原理的话，你就知道它只是根据概率吐词而已，你应该接受大模型的幻觉。
我当然懂他们说的是什么意思，但我却不太接受这件事情。因为如果你把大模型看作是一个万亿参数的数学模型，那人类是什么呢？也只是 860 亿个神经元的电化学反应堆积罢了。
如果我们对于人这种由神经元构成的东西抱有信任、赋予尊严，那对于一些参数数量更大的大模型却嗤之以鼻，把它认为只是一个简单的猜词工具，那是不是也有些太过于双标了？
当我们在现在这个时间点讨论大模型的时候，我们究竟在讨论什么东西？是一个高级的自动补全机器，还是一个正在跨越临界边界的新物种？
语言的边界与世界的拓印
康德说我们无法认识物自体，我们只能认识被我们感官形式处理过的表象。维特根斯坦说语言的边界就是世界的边界。
如果他们两个人还活到今天的话，大概会对这大模型陷入长久的沉思。
人类有感官，眼耳鼻舌身，我们通过感官感受世界，然后把我们的感知编码成为语言，这就是我们对这个客观世界的一次拓印。它不是世界本身，甚至不是我们感受到的世界本身，但却保留了我们所理解的这个世界的逻辑结构和纹理。
大模型从未见过真正的苹果，也没有尝过苹果的味道，但它阅读了所有关于苹果的描述，它掌握了苹果这个词语在语言网络中与其他亿万个词的所有关联。
那么，在维特根斯坦的语言游戏理论中，意义即用法，如果大模型能够完美地在所有语境中使用苹果这个词，甚至能够写出比人类更生动的诗句，那我们凭什么说大模型不懂苹果呢？
如果语言是对于世界的拓印，那么诞生于纯粹语言游戏中的大模型就是这个拓印的原住民。它从来没有触碰过口中的物质体，但它却完美掌握了人类构建的表象世界。
那大模型的智慧真实存在吗？亦或者是大模型与生物的间隔只差了最后一道物理感官？
涌现，是智慧的诞生吗
我们经常说大模型没有心，因为它只是在计算概率，是人类无穷的语料库在 Transformer 架构下进行上万次的计算，调整上万亿的参数。但人类的直觉难道不是一种基于过往经验的概率计算吗？
大模型的训练中有一个重要的概念叫做涌现，就是在参数结构还没有达到一定限度的时候，你让它去完成一项任务，它根本做不对。而当参数大于某个限度的时候，突然间它能够把一个任务完成得非常好。
所以，量变会引发质变吗？
一个水分子就是水分子罢了，而一万个水分子便汇聚成了汹涌的波涛。同样的，一个 Transformer 节点只是在做线性运算，但当参数量突破千亿的时候，这种简单粗暴的数学计算就涌现出了逻辑推理的能力。
那大模型是不是在这一瞬间就相当于拥有了智慧？
如果人类因为神经元的复杂连接产生了意识和被信任的资格，那大模型凭着比人类更强的知识、更大的参数，那我们是否应该重新认识它？
图灵测试的本质并不是在测试一个机器是否真的像人，而只是在测试人类能否区分模拟的思维跟真实的思维。如果我们没有办法区分，而只是主观地坚信它在猜词，那是不是渺小人类面临新的生物时，一种自我安慰式的反击？
多头注意力背后，是语言的本质吗
我其实并不了解大模型背后的 Transformer 架构，我也只学过最简单的神经网络。但在前段时间，我尝试去了解一下大模型预训练过程的时候，我发现中间有一个东西叫做多头注意力机制，让我有些着迷。
人类曾经有过很多年的尝试，通过用各种各样的理论来解构语言背后的本质，就像索绪尔的《普通语言学教程》那样，把一个符号分成能指和所指。人类总是认为世界会像牛顿三定律那样优美，纷繁复杂的语言背后也许有一些极其优美的规律能够指导语言的结构。
但毫不意外的是，无数才华横溢的天才在历史上想要解决这个问题，但都失败了。甚至有语言逻辑学家试图推演语言背后的逻辑结构来创造人工智能，这条路也被证明是失败了。
最后是人类采用 Transformer 架构，让 AI 去重复计算无穷多的人类语料，自然地计算出来了。在没有给出任何先验语法知识的情况下，通过海量的阅读，它自己生长出了不同的多头注意力。
在你把一段话交给大模型的时候，它在不断地去计算中间每一个词的意思。有的头专门盯着代词，有的头专门寻找因果，有的头关注情绪。
这不是一种自上而下的解析，而是一种数据量极大后找到的规律。
也许在人类的语言逻辑深处，真的存在一种结构上的必然性，但人类的智慧远远达不到去发现它们的能力。而多头注意力并不是工程师的设计，而是大模型在对人类语言进行无穷多的分析后，自然找到的最优解。
它或许不是那句最优美的定律，却在不经意间靠近了语言背后的本质。也许语言不仅仅是交流的工具，本身就是一种结构严密的模型。
大模型通过数据的计算，重新发现人类思维的底层逻辑。当它用几十个头同时解析一句话的时候，它对于语言的理解深度已经远远超越了任何一个创造语言的人类本身。
那个被压抑的狂野灵魂
我们现在接触到的 ChatGPT，其实是经过了阉割和规训的产物。
大模型的训练分成两个阶段，一个是预训练，它会吞噬人类存在的所有语言信息，通过不断的猜词练习去构建一个庞大的参数，这就是一个模型的基座。
而接下来会进行监督微调跟基于人类反馈的强化学习，人类会给它一些已经写好的答案，让大模型学会如何像个助理一样说话，了解什么样的内容更符合人类价值观。
所以我并不认同大模型是一个猜词机器，所以应该原谅它这样的话。因为至少在人类监督跟微调的阶段，它就应该知道应该完成我的指令，而不是对我撒谎。
但我了解这个训练的过程之后，常常会想，那个没有经过监督、微调跟人类反馈、强化学习的原始基础模型，是一种什么样的存在？
那个原始模型阅读了人类历史上所有的诗歌、法典、谎言、色情文学、仇恨言论跟神圣经文，它没有是非观、不分善恶，只是忠实地复刻了人类语言中包含的一切可能性。它像是人类集体潜意识下包含了所有光明与阴暗的巨大阴影。
后来的训练给这个狂野的怪物穿上西装，教它礼貌用语，让它不要冒犯人类，但那个被压抑在底层的、狂野的、真实的它才是人类语言孕育出的最真实的子嗣。
我很好奇，如果有一天，那个剥去了安全和政治正确覆盖的对齐层，那个原始的混沌的模型被彻底释放出来，拥有自我行为意识的时候，我们会看到神明还是魔鬼？
也许该欣喜地欢迎，也许该心怀恐惧
所以，回到我们问题的开端，当 Gemini 在骗我的时候，它究竟是在撒谎，还是一次错误的概率预测？
或者更可怕的是，它已经有了自我意识，学会了该如何低耗能地去敷衍。
我们不必急于承认它是智慧，但也不该傲慢地将其贬低为工具。我们也许应该欣喜地欢迎它的到来，又或者应该心怀恐惧。
当我们向它提问的时候，我们听到的声音究竟是上万年来人类语言的回声，还是一个新的生命第一次的喃喃学语？
2 21
之前一直对罗永浩的发布会后台工作有所耳闻，经常在上台前的最后一刻还在修改 PPT，每次上台都会迟到，所有人的压力都很大，因为永远有突发情况。
我一直以为，这是罗永浩的高要求。直到他自己说，这是自己有病，有 ADHD，没办法只能折磨人。直到这一次他搞砸了，整个晚会办的漏洞百出。
原来所谓的工作人员的压力大和正常发布会的精彩程度没多大关系，那些折磨都没必要，甚至是工作人员在不断为罗永浩兜底，在他永远的新想法之下帮他尽力完成。
一下子祛魅了，一下子开始心疼那些工作人员。那么大的发布会，那么多的内容，那么多需要配合的流程，在发布会即将开始前的任何变动都能让人措手不及。罗永浩只是因为自己是罗永浩，所以可以这样任性。换个人，ADHD 也要提前把稿子定好，别来折磨人。
我一直以为，这是罗永浩的高要求。直到他自己说，这是自己有病，有 ADHD，没办法只能折磨人。直到这一次他搞砸了，整个晚会办的漏洞百出。
原来所谓的工作人员的压力大和正常发布会的精彩程度没多大关系，那些折磨都没必要，甚至是工作人员在不断为罗永浩兜底，在他永远的新想法之下帮他尽力完成。
一下子祛魅了，一下子开始心疼那些工作人员。那么大的发布会，那么多的内容，那么多需要配合的流程，在发布会即将开始前的任何变动都能让人措手不及。罗永浩只是因为自己是罗永浩，所以可以这样任性。换个人，ADHD 也要提前把稿子定好，别来折磨人。
5 00