即刻App年轻人的同好社区
下载
置顶关于大模型的迷思（1）
很多人对大模型有误解，觉得虽然所谓“语言”大模型没有OpenAI厉害，但我们有矿山大模型啊，天气预测大模型啊（举个例子，切勿对号入座）。“我们不做诗，我们干实事。”
声明：To B的工业AI工具必然是很有价值，也需要发展的，这里想说明的是，二者是不同的东西，就像《星球大战》里面的C3PO和交通机器人，直接比较对双方都不公平。
这种片面狭隘乃至错误的理解，命名要负很大的责任。大语言模型，大不是关键，语言也不是关键。真正的目标，是通过大语言模型达到通用人工智能，通用，才是关键。
为什么是语言模型？正如维特根斯坦所说，语言的边界就是思维的边界。语言是真实世界在文本上的一种投影，仅仅通过学习文字，也能建立起对真实世界的“有损”认知，就像通过三视图还原物体一样。这也引出了第二点，
为什么要大？因为只有给足了数据，才能让模型建立起对真实世界比较有效的认知。早期的自然语言处理算法没有办法区分诸如“中国队大胜美国队” vs. “中国队大败美国队”这种句子。根本原因在于，我们的自然语言系统也不是完美的，光靠单词，语法，和句法的组合，没有办法完美地描述各种场景。我们之所以能理解这两句话，是因为我们还知道很多背景知识和关于使用场景的信息。所以，光靠基于逻辑变换的算法，是有很大的局限性的。机器不行，我们也不行。换句话说，你得让模型接触足够多的例子，这就是为什么模型一定要大。
GPT是语言模型，但是它的训练数据中，大概率也是包含了矿山，天气，等很专业或者小众的知识的。（甚至核武器图纸这种，这也是人工智能安全很大的一类风险因素）
再说说为什么一定得是语言模型，而不是视觉模型，图片也是世界的投影呀？因为语言是我们人类几乎唯一比较准确有效的信息传递方式，我们不是三体人可以在思维层面沟通，也没有神圣的卡拉将我们的意志相连。手语本质上也是一种将文本可视化的表达方式。所以就算超级人工智能摆在你面前，语言也大概率是你跟它唯一可行的沟通方式（如果马斯克的脑机接口实验成功，那么可能会有更直接的沟通方式）。所以，教会机器“说话”，是至关重要的一步！（你看，我也是通过文字在这里试图跟你传递我大脑中的信息）
至于什么“1+2会算错”，这根本不是问题，因为一旦你可以教会机器说话，你就能教它使用工具，遇到1+2，它就知道调用计算器。我们从小也是这么被教的。如果你不信，你尝试算一下354 x 789，你也得用计算器。打草稿，就相当于chain of thoughts（CoT），把步骤写下来，节省推理的时候用到的大脑的计算资源。所以你看，这和人脑的工作模式是非常相似的。
沿着这个思路，当模型的智能达到一定程度，又学会了语言，你就能引导它开始自我学习自我迭代了（目前还没有证据表明模型有自主意识，这可能是人类唯一的优势了吧），引导它去解决矿山安全问题，天气预测问题，常温超导问题，可控核聚变问题。
总结一下，大语言模型，large language model，llm，是通向“通用”人工智能的一种尝试，目前展现出了很大的潜力，最终能不能达到真正的artificial general intelligence，AGI，还有待观察。有些专家，比如Meta的图灵奖得主Yann LeCun可能不同意此技术路线通向AGI的最终可能性（他也不觉得AGI有什么风险就是了），但不要再说什么我们语言大模型差一点，但我们有矿山大模型。光喂矿山数据能教会模型说话吗？
以后有机会的话可能还打算聊聊next-word-prediction的合理性，大模型和通用人工智能的宗教哲学思想根源，我对多模态的不成熟的看法，基于历史数据的模型能不能产生新知识，人脑作为一种大模型，AGI的到来，等等。
声明：此文纯手打，没有使用任何AI工具！
#OpenAI人事变动
很多人对大模型有误解，觉得虽然所谓“语言”大模型没有OpenAI厉害，但我们有矿山大模型啊，天气预测大模型啊（举个例子，切勿对号入座）。“我们不做诗，我们干实事。”
声明：To B的工业AI工具必然是很有价值，也需要发展的，这里想说明的是，二者是不同的东西，就像《星球大战》里面的C3PO和交通机器人，直接比较对双方都不公平。
这种片面狭隘乃至错误的理解，命名要负很大的责任。大语言模型，大不是关键，语言也不是关键。真正的目标，是通过大语言模型达到通用人工智能，通用，才是关键。
为什么是语言模型？正如维特根斯坦所说，语言的边界就是思维的边界。语言是真实世界在文本上的一种投影，仅仅通过学习文字，也能建立起对真实世界的“有损”认知，就像通过三视图还原物体一样。这也引出了第二点，
为什么要大？因为只有给足了数据，才能让模型建立起对真实世界比较有效的认知。早期的自然语言处理算法没有办法区分诸如“中国队大胜美国队” vs. “中国队大败美国队”这种句子。根本原因在于，我们的自然语言系统也不是完美的，光靠单词，语法，和句法的组合，没有办法完美地描述各种场景。我们之所以能理解这两句话，是因为我们还知道很多背景知识和关于使用场景的信息。所以，光靠基于逻辑变换的算法，是有很大的局限性的。机器不行，我们也不行。换句话说，你得让模型接触足够多的例子，这就是为什么模型一定要大。
GPT是语言模型，但是它的训练数据中，大概率也是包含了矿山，天气，等很专业或者小众的知识的。（甚至核武器图纸这种，这也是人工智能安全很大的一类风险因素）
再说说为什么一定得是语言模型，而不是视觉模型，图片也是世界的投影呀？因为语言是我们人类几乎唯一比较准确有效的信息传递方式，我们不是三体人可以在思维层面沟通，也没有神圣的卡拉将我们的意志相连。手语本质上也是一种将文本可视化的表达方式。所以就算超级人工智能摆在你面前，语言也大概率是你跟它唯一可行的沟通方式（如果马斯克的脑机接口实验成功，那么可能会有更直接的沟通方式）。所以，教会机器“说话”，是至关重要的一步！（你看，我也是通过文字在这里试图跟你传递我大脑中的信息）
至于什么“1+2会算错”，这根本不是问题，因为一旦你可以教会机器说话，你就能教它使用工具，遇到1+2，它就知道调用计算器。我们从小也是这么被教的。如果你不信，你尝试算一下354 x 789，你也得用计算器。打草稿，就相当于chain of thoughts（CoT），把步骤写下来，节省推理的时候用到的大脑的计算资源。所以你看，这和人脑的工作模式是非常相似的。
沿着这个思路，当模型的智能达到一定程度，又学会了语言，你就能引导它开始自我学习自我迭代了（目前还没有证据表明模型有自主意识，这可能是人类唯一的优势了吧），引导它去解决矿山安全问题，天气预测问题，常温超导问题，可控核聚变问题。
总结一下，大语言模型，large language model，llm，是通向“通用”人工智能的一种尝试，目前展现出了很大的潜力，最终能不能达到真正的artificial general intelligence，AGI，还有待观察。有些专家，比如Meta的图灵奖得主Yann LeCun可能不同意此技术路线通向AGI的最终可能性（他也不觉得AGI有什么风险就是了），但不要再说什么我们语言大模型差一点，但我们有矿山大模型。光喂矿山数据能教会模型说话吗？
以后有机会的话可能还打算聊聊next-word-prediction的合理性，大模型和通用人工智能的宗教哲学思想根源，我对多模态的不成熟的看法，基于历史数据的模型能不能产生新知识，人脑作为一种大模型，AGI的到来，等等。
声明：此文纯手打，没有使用任何AI工具！
#OpenAI人事变动
15 29
越来越觉得AGI+UBI是一套至少逻辑上和道德上非常合理且占优的方案。
（Sam Altman 14年看到当时的神经网络的效果（which was not that good）之后就有了这个构想，如果不是mimic马斯克的思路，这个技术前瞻性眼光也是可以的）
（Sam Altman 14年看到当时的神经网络的效果（which was not that good）之后就有了这个构想，如果不是mimic马斯克的思路，这个技术前瞻性眼光也是可以的）
1 00
“与人为善”在教育中被默认为是最基本的“德性”。
但真的在任何环境下“与人为善”都能在个人层面带来长期最优的结果吗？
一个极端情况，把你放进一个食人族部落，你还要“与人为善”吗？
规则列举无法穷尽所有可能发生的情况，一些复杂微妙的情况甚至无法用语言来描述，更不用说不同时空背景下“情况”本身也不停在变。这也是为什么有些东西无法通过看课本学会，正如你没法严格给出猫的定义（但你一眼就能认出来）。
所以要不要“与人为善”呢？没有时空背景，我也不知道，我的答案也不是别人的答案，唯一的真理是：世界是贝叶斯的，与真实世界的交互是极其重要的，除非所有人都活在Vision Pro的元宇宙的中，否则线下活动的必要性不可能被消除，甚至因为线上能提供的信号越来越丰富，越来越准确，竞争优势就来自对于那些无法数字化的线下信号的获取和解读。
但真的在任何环境下“与人为善”都能在个人层面带来长期最优的结果吗？
一个极端情况，把你放进一个食人族部落，你还要“与人为善”吗？
规则列举无法穷尽所有可能发生的情况，一些复杂微妙的情况甚至无法用语言来描述，更不用说不同时空背景下“情况”本身也不停在变。这也是为什么有些东西无法通过看课本学会，正如你没法严格给出猫的定义（但你一眼就能认出来）。
所以要不要“与人为善”呢？没有时空背景，我也不知道，我的答案也不是别人的答案，唯一的真理是：世界是贝叶斯的，与真实世界的交互是极其重要的，除非所有人都活在Vision Pro的元宇宙的中，否则线下活动的必要性不可能被消除，甚至因为线上能提供的信号越来越丰富，越来越准确，竞争优势就来自对于那些无法数字化的线下信号的获取和解读。
1 00
“己所不欲，勿施于人”在我们的文化传统中是受到推崇的。
在其它国家文明民族的文化中，这不一定是被认为是“高尚”的，别人不会想着勿施于你，你勿施于人也无法获得相应的道德奖励，甚至是负向奖励。
这种时候你可以固守自己的价值体系，要是有本事让洋人读《论语》也没问题。但是如果没法让洋人念经，又想获得更多的东西（与别人做生意，在别人的地盘上工作生活），那么实事求是，是唯一的选择：尊重别人的价值体系不一定和自己的一样的事实。
在其它国家文明民族的文化中，这不一定是被认为是“高尚”的，别人不会想着勿施于你，你勿施于人也无法获得相应的道德奖励，甚至是负向奖励。
这种时候你可以固守自己的价值体系，要是有本事让洋人读《论语》也没问题。但是如果没法让洋人念经，又想获得更多的东西（与别人做生意，在别人的地盘上工作生活），那么实事求是，是唯一的选择：尊重别人的价值体系不一定和自己的一样的事实。
1 00
很多“德性”只能要求自己，不能指望别人具有“德性”，不是说这样就是好的，而是要尊重客观事实。
你不狗眼看人低，不能想着别人也不狗眼看人低。而往往这些人能力还不错，或者掌握着重要的资源。这种时候，与其幻想别人和自己一样有“德性”，或者感慨人心不古，“如此这般便对吗？”，不如给自己搞些titles，一定程度的妥协是应该的。
“如此这般便对吗？”不对，但如果只感慨，只等待，不策略性应对，便无法得到任何结果。想提高社会“德性”，也需要讲究斗争的基本法，高声疾呼是无法长久的，在完成自己的工作，到了一定的位置的时候，应该想的是如何让“德性”系统与基本平均人性更加激励相融。
你不狗眼看人低，不能想着别人也不狗眼看人低。而往往这些人能力还不错，或者掌握着重要的资源。这种时候，与其幻想别人和自己一样有“德性”，或者感慨人心不古，“如此这般便对吗？”，不如给自己搞些titles，一定程度的妥协是应该的。
“如此这般便对吗？”不对，但如果只感慨，只等待，不策略性应对，便无法得到任何结果。想提高社会“德性”，也需要讲究斗争的基本法，高声疾呼是无法长久的，在完成自己的工作，到了一定的位置的时候，应该想的是如何让“德性”系统与基本平均人性更加激励相融。
1 00
The hottest new programming language is English. -- Andrej Karpathy
其实何止是编程，在后大模型（前脑机接口）时代，语文能力可以说在所有领域中都是最核心的技能。
举例来说，20年后，你可以不会用笔画画，因为Midjourney v20的作画能力会超过世界上最牛逼的笔绘大师，但你仍然得努力将脑海中的“图景”通过语言传递给大模型。（当然可能会出类似”罪犯模拟画像”的功能，“帮”用户把脑海中的所想呈现出来）
对于输入也是如此，大模型可以帮你做出最精准最全面的总结，但把信息装进脑子中的这一步，还是得依靠自己的理解能力。
说到底，人类只能依仗每秒几个比特的信息传递效率来和大模型沟通，语文（输入：听，读；输出：说，写）能力的瓶颈是其它一切活动的瓶颈。
其实何止是编程，在后大模型（前脑机接口）时代，语文能力可以说在所有领域中都是最核心的技能。
举例来说，20年后，你可以不会用笔画画，因为Midjourney v20的作画能力会超过世界上最牛逼的笔绘大师，但你仍然得努力将脑海中的“图景”通过语言传递给大模型。（当然可能会出类似”罪犯模拟画像”的功能，“帮”用户把脑海中的所想呈现出来）
对于输入也是如此，大模型可以帮你做出最精准最全面的总结，但把信息装进脑子中的这一步，还是得依靠自己的理解能力。
说到底，人类只能依仗每秒几个比特的信息传递效率来和大模型沟通，语文（输入：听，读；输出：说，写）能力的瓶颈是其它一切活动的瓶颈。
2 00
看Y Combinator创始人Paul Graham的雄文《市井雄心》Cities and Ambition，在一些中文讨论中了解到豆瓣曾经弄的“阿尔法城”项目，寻思这不是元宇宙的早期探索？
3 00