即刻App年轻人的同好社区
下载
"I think we need another breakthrough. We can push on large language models quite a lot, and we should, and we will do that. We can take our current hill that we're on and keep climbing it, and the peak of that is still pretty far away. But within reason, if you push that super far, maybe all this other stuff emerged. But within reason, I don't think that will do something that I view as critical to a general intelligence.”
需要花时间figure out的问题是：什么是OAI会做的 什么是应用层公司的机会
需要花时间figure out的问题是：什么是OAI会做的 什么是应用层公司的机会
Sam Altman on AGI: Scaling large language models is not enough
2 00
《论context对孤立语的重要性》
例句：昨晚XX组织了一个浙大创投圈聚餐，你应该来的（should have come)
连发展了那么多年的机器翻译都尚不能做到100%准确性，更何况客服、问答等场景。不管信仰上如何e\acc派 AI在现阶段（也许两三年）真正有PMF的场景还只能是对准确率要求不那么高的娱乐场景或者辅助工具场景。
例句：昨晚XX组织了一个浙大创投圈聚餐，你应该来的（should have come)
连发展了那么多年的机器翻译都尚不能做到100%准确性，更何况客服、问答等场景。不管信仰上如何e\acc派 AI在现阶段（也许两三年）真正有PMF的场景还只能是对准确率要求不那么高的娱乐场景或者辅助工具场景。
2 00
有一个目前行业大的debate是，LLM是不是走向AGI的路线？
我认为得从「语言」与「智能」的关系思考。先说结论：语言不是智能，语言是连续世界和大脑思维的抽象符号表征。
比如苹果这个单词，不管你是看到一个物理的苹果还是让苹果的图片或者吃到苹果的东西，他都会激活同一个神经元，而语言符号「苹果」是该激活信号的抽象表征。这个符号是跨大脑可以交流的。这就是语言的本质：花花世界的符号化抽象以及大脑之间的交流桥梁。
「形成了苹果神经元」其实等同于 「给苹果的连续信号（不管是视觉还是味道）赋予意义」。 而语音「苹果」是这个意义的外化表征，方便我们与别的大脑沟通
这里有两个过程 一个叫 赋予意义（semantization），一个叫外化（verbalization）
值得注意的是，人类大脑的情况是 神经元化学信号做了前者，语言做了后者。但是硅基生物是不是一定是这样，答案大概率是否定的。但从实用主义的视角出发，contextualized embedding作为semantization的载体，是已经被验证了的。
我认为得从「语言」与「智能」的关系思考。先说结论：语言不是智能，语言是连续世界和大脑思维的抽象符号表征。
比如苹果这个单词，不管你是看到一个物理的苹果还是让苹果的图片或者吃到苹果的东西，他都会激活同一个神经元，而语言符号「苹果」是该激活信号的抽象表征。这个符号是跨大脑可以交流的。这就是语言的本质：花花世界的符号化抽象以及大脑之间的交流桥梁。
「形成了苹果神经元」其实等同于 「给苹果的连续信号（不管是视觉还是味道）赋予意义」。 而语音「苹果」是这个意义的外化表征，方便我们与别的大脑沟通
这里有两个过程 一个叫 赋予意义（semantization），一个叫外化（verbalization）
值得注意的是，人类大脑的情况是 神经元化学信号做了前者，语言做了后者。但是硅基生物是不是一定是这样，答案大概率是否定的。但从实用主义的视角出发，contextualized embedding作为semantization的载体，是已经被验证了的。
6 00
《关于多模态》
1981年，第一款商用操作系统MS-DOS上市的时候，也是文本态的交互体验，后面就变成了图形形态GUI — 1985年Windows 1.0x。
大模型时代也一样：先是大语言模型，再是多模态大模型。所以大语言模型厂商支持多模态是大势所趋。
值得注意的是 从CLI到GUI 操作系统的内核并没有变，还是language-based的（编程语言也是语言），图形模态只是方便了用户交互。
1981年，第一款商用操作系统MS-DOS上市的时候，也是文本态的交互体验，后面就变成了图形形态GUI — 1985年Windows 1.0x。
大模型时代也一样：先是大语言模型，再是多模态大模型。所以大语言模型厂商支持多模态是大势所趋。
值得注意的是 从CLI到GUI 操作系统的内核并没有变，还是language-based的（编程语言也是语言），图形模态只是方便了用户交互。
8 11
最近见了不少人 听到了很多观点 如“AI行业信息太爆炸了 三天两头就出Sora/GPT-4o/Claude3.5 发展和变化太快了”
其实整个大模型行业在技术侧到目前为止没有特别大的变化—— 翻了下我的即刻，我23年2月15日写的东西到今天依然是大模型的痛点。
我们一直在默默解决continuous learning和personalization的问题，比如我们最新的工作《Symbolic Learning Enables Self-Evolving Agents》（arxiv.org）展示了我们在给大模型加上“实时更新的能力”的一些进展。个性化(personalization)也有一些技术沉淀，会在近期发布。（和联创调侃了一下我们竟然出奇地没有pivot）
回看整个行业过去一年半，主要的变化在商业侧：商业化应用多了不少，整个市场对大模型的认知深入了不少。（下次有机会分享一些从业心得）
其实整个大模型行业在技术侧到目前为止没有特别大的变化—— 翻了下我的即刻，我23年2月15日写的东西到今天依然是大模型的痛点。
我们一直在默默解决continuous learning和personalization的问题，比如我们最新的工作《Symbolic Learning Enables Self-Evolving Agents》（arxiv.org）展示了我们在给大模型加上“实时更新的能力”的一些进展。个性化(personalization)也有一些技术沉淀，会在近期发布。（和联创调侃了一下我们竟然出奇地没有pivot）
回看整个行业过去一年半，主要的变化在商业侧：商业化应用多了不少，整个市场对大模型的认知深入了不少。（下次有机会分享一些从业心得）
姜昱辰Eleanor: 这两天ChatGPT在中文互联网突然就莫名其妙出圈了，作为NLP行业的从业人员和创业者，感到很惊喜。 毕竟当初选择从事NLP而不是CV归根结底的原因就是认为不同于CV本质上仅仅是一种「識別」(recognition)，NLP技术的本质是「認知」(cognition)，涉及到“知识”、“记忆”、“推理”，故而是实现通用人工智能更为关键和“高阶”的一环。 「ChatGPT可以怎么用、发挥怎样的商业价值」，不管是英文互联网还是中文互联网时到今日讨论的都已经很多了。我讲两个我认为的当前ChatGPT的痛点和未来NLG产品的发展方向吧： 1. 实时更新“知识”的能力(continuous learning)：ChatGPT的知识基本停留在了2022年11月(它训练完成的日子)。对于中国互联网企业来说，开发出一个「无需重新训练就可以**实时**从互联网上获取新知识、并且没有**遗忘**问题(catastrophic forgetting)的语言模型」会是弯道超车的最佳方式。 2. 个性化(personalisation) ：21世纪显然是个对个性化需求很高的时代——不管是抖音、小红书还是Instagram、YouTube，不管是内容供应商、社交媒体平台甚至是智能家居这些的工具性应用场景，个性化都有着巨大的商业价值。而ChatGPT没有针对个人用户的个性化。一个可以根据不同用户个人习惯和需求调整的私人AI助理/个性化搜索引擎，将是一个很大的风口。 最后，虽然ChatGPT刷屏了全球互联网，但是其实它本身并不是多么革命性的技术，其实NLP技术这两年一直在指数级发展，对ChatGPT比较中肯的评价是大型语言模型(LLM)这几年的发展在openAI的大烧钱训练下「量变」产生了「质变」，和前几年的BERT类似。固然NLP模型一直以来有的「不够鲁棒」、「有bias」和「不能判断真假factuality」的问题，ChatGPT仍然有。而通用人工智能所应拥有的“知识”、“记忆”、“推理”能力，ChatGPT也仍未解决。从技术的角度看，Memory model + ChatGPT解决个性化需求将会是一个low-hanging fruit，有着极大商机。
6 20
很多人会混淆「个人体感」和「集体均值」的概念。
就比如其实我一直比较好奇 像“top places to live”这种命题那么主观 这种榜单是怎么评出来的，是大多数人的体感的综合吗？
就比如evaluate小说生成质量可以看点赞数、ROI。但是它真的是对某个个体来说最有趣的小说吗？我喜欢看的（女频虐恋）和我联创喜欢看的（男频重生）完全不一样。男频内容质量很高的小说，对于我这个个体来说，和写得很糟的穿越宫廷文没区别。
Inter-annotator agreement (IAA) 很低的情况下，看「集体均值」是不大有意义的。
从点赞数、ROI这样的「集体均值」指标到「千人千面」的「个人体感」指标，背后是一次思维模式的革新，也是商业模式的革新 -- “优质内容”的定义改变了。
就比如其实我一直比较好奇 像“top places to live”这种命题那么主观 这种榜单是怎么评出来的，是大多数人的体感的综合吗？
就比如evaluate小说生成质量可以看点赞数、ROI。但是它真的是对某个个体来说最有趣的小说吗？我喜欢看的（女频虐恋）和我联创喜欢看的（男频重生）完全不一样。男频内容质量很高的小说，对于我这个个体来说，和写得很糟的穿越宫廷文没区别。
Inter-annotator agreement (IAA) 很低的情况下，看「集体均值」是不大有意义的。
从点赞数、ROI这样的「集体均值」指标到「千人千面」的「个人体感」指标，背后是一次思维模式的革新，也是商业模式的革新 -- “优质内容”的定义改变了。
6 10