即刻App年轻人的同好社区
下载
App内打开
小盖fun
8关注1k被关注5夸夸
做有意思的事情。
小盖fun
08:06
愤而退群。早上看到有一哥们在群里头疯狂吐槽,说世界模型是割韭菜。很是诧异。

随即想起郭德纲说的段子:

我和火箭科学家说,你那火箭不行,燃料不好,我认为得烧柴,最好是煤,煤最好选精煤,水洗煤不好。如果那个科学家拿正眼看我一眼,那他就输了。

至少听内行的吧。就这么点智慧。
11
小盖fun
2天前
非常厌烦那些 AI 生成的 PPT,一看就是粗制滥造。乍一看好像是一个巧妙构思的金句,但细琢磨的话,又什么信息都没有。
00
小盖fun
4天前
扎克伯格对 Meta Muse 的思考真通透。

Meta 的 Muse 确实非常火。它甚至一度让我觉得,Codex 这类 Agent 会不会又变成了上一代产品。

这几天行业里关于 Muse 的分析已经非常多了。但如果大家真的对这款产品感兴趣,想深入理解,我还是建议去看一手资料。

扎克伯格刚刚参加了一期播客,详细讲了自己为什么要做 Muse,以及他对 Personal Agent 的理解。

我刚刚把这个视频看完了,绝对比市面上 99% 的第三方分析都更靠谱和通透。

www.youtube.com

怎么讲呢,我觉得 Muse 这种产品,确实有可能成为 AI 时代的微信。至少现在已经能看到一点苗头了。

咱一步步展开。

讨论这一切的前提,是得先搞清楚 Muse 和 Codex、Claude、WorkBuddy 等等这些过去半年竞争非常激烈的 Coding Agent、通用 Agent,到底有什么区别。

我反复看了扎克伯格的表达,如果用一句话总结,我觉得之前我们熟悉的 Agent,主要还是 Task Agent。Muse 想做的是 Long-lived Personal Agent。

Codex 已经是 Agent 了,这没有什么疑问。但它目前最典型的工作方式,还是围绕一个相对明确的任务展开。

比如我刚刚让它帮我改了一个产品 Bug,或者可以按照我的要求生成一份 Slides。

这类 Agent 的使用方式我们已经轻车熟路。给它一个任务,Agent 开始执行,最后交付结果。Meta 的 Muse 之所以能够出圈,是因为它在这个基础上,做了几个重要设计。

第一,它的生命周期更长。

这也是刚才提到的 Long-lived Personal Agent。

像 Codex 这种 Agent,虽然已经可以非常长时间地执行任务,但它的工作一般还是围绕一个 Task 展开。任务做完,这一轮基本也就结束了。

Muse 不太一样。用户给它的可以是一个持续很久的目标,然后它一直围绕这个目标工作。

扎克伯格举了个特别生活化的例子。他让 Muse 每周帮自己和女儿安排烘焙活动,还要提前把材料准备好。这周做完以后,这件事并没有结束。

比如这次发现 Cake Pops 太难了,他会把这个结果告诉 Muse,下一周再继续调整。所以这种任务可能持续几个月,甚至更久。

第二,也是我觉得最打动我的一点,它会主动观察用户,然后自己产生任务。

今天 Codex 这些 Agent 再强,大多数时候还是需要我们先告诉它要干什么。

Muse 有一个很重要的设计叫 Ideas。它会根据用户的目标、历史和 Context,自己琢磨还有什么事情可以继续做,然后主动提问,要不要试一下。

比如扎克伯格和女儿一起玩 Civilization,Muse 先帮他们做了一套游戏攻略。

做完以后,它自己又想到,可以把这个攻略继续扩展,顺便加入不同文明的历史知识。于是它主动问扎克伯格,要不要继续做。扎克伯格说可以,它就接着往下干。

这个功能直接让我感受到了 Aha Moment。

就像那天我和朋友交流 Muse 的时候说,我觉得这玩意开始有一点眼力见了。它会主动观察用户,然后说这些事它可以帮忙干。

这个功能特别有意思。

因为今天很多人使用 AI 最大的问题,已经不是 AI 不够强,而是根本不知道 AI 还能帮自己做什么。

我们打开一个聊天框,还是要自己想 Prompt,然后决定让 AI 做什么任务。

但如果 Agent 已经足够了解我们的 Context,它其实可以反过来更主动的发现问题、推进任务。

然后在这个基础上,我想解释下为什么我觉得 Muse 有可能成为 AI 时代的微信。

其实现在大家应该都已经感觉到了,AI 时代很多产品真正发生的变化,可能根本不是把 AI 塞进产品里。

新一代 AI 产品,和之前移动互联网时代产品最大的不同是,它的受众用户除了人,还有 Agent。

所以产品从设计的第一天开始,就得把 Agent 当成非常重要的用户。

现在行业里的 Agent,本质上还是一个 Single-player Game。你有你的 Agent,我有我的 Agent,大家彼此之间基本独立。

但扎克伯格觉得,后面这个状态会彻底发生变化。

他提到一个 Fleet 的概念。简单理解,就是一个人的 Muse 如果发现了某种特别好的用法,其他 Muse 也可以从这些匿名化的经验里学到东西,然后再推荐给适合的用户。

这样一来,用 Muse 的人越多,每个人手里的 Muse 理论上也会变得越来越好。

再进一步,Agent 和 Agent 之间可以直接互动。

因为 Personal Agent 本身就有用户的 Context。某种意义上,它已经是数字分身了。

那两个 Personal Agent 为什么不能自己交流?

举一个非常简单的例子。

比如我下个月准备去内蒙古看秋景,想找一个摄影师。今天我要自己去小红书搜索,去微信里问朋友,或者到处找合适的人。未来可能完全不一样。

我的 Muse 知道我要去内蒙古,也知道时间、预算,以及我喜欢什么样的摄影风格。于是它可以去整个 Agent Network 里找。

另外一个人的 Muse 知道自己的主人刚好是摄影师,那几天有时间,价格也合适,过去拍过的作品风格我也喜欢。两个 Agent 可以先初步沟通。

这个时候,所谓社交网络就不再只是人主动刷 Feed、加好友、发消息了。可能变成每个人背后都有一个 Agent。

这些 Agent 带着人的 Context、需求、关系和资源,在网络里替人寻找合适的人和机会。

这个想象空间我觉得真的很大。

微信的基本节点是人。人和人建立关系,然后聊天、发朋友圈、进群、交易。Muse 这种东西的基本节点可能依然是人,但网络里真正高频活动的主体,很可能开始出现 Agent。

或者这么讲。微信是 Human Network。Muse 的终局可能是 Human + Agent Network。

当然,一说到这里,说到 Agent 拥有我们的 Context。所有人应该都会想到同一个问题:隐私怎么办?

我这两天自己用 Muse 的时候其实也非常谨慎。因为 Personal Agent 和 Codex 这种产品还有一个很大的区别,它为了真正理解我们,需要拿到越来越多属于我们的 Context。

邮件、日历、聊天、支付、各种账号。

用到后面,它可能比绝大多数人都更了解我们自己。这确实会让人不安。

对于隐私,扎克伯格的逻辑是最好的隐私承诺,不是让用户相信平台不会看,而是技术上根本看不到。

说下他们的做法。

Meta 现在给每个人的 Muse 配了一个独立的 Secure VM。

可以简单理解成,用户的 Agent 在云端有一台相对独立的电脑,个人数据、凭证和 Agent 的操作都放在这个环境里。

接下来 Meta 还准备上线一套更强的 Confidential VM。到那个阶段,整个 VM 里的数据,包括用户和 Muse 的对话,都会进一步加密,目标是连 Meta 自己也无法读取。

这一套东西,WhatsApp 已经验证过了,隐私的问题应该是可以通过机器的方式得到解决。

还有,扎克伯格对 Muse 商业模式的设想,我觉得至少从现在来看,也挺成熟的。

因为让绝大多数人长期付费使用一个 AI,无论在中国还是美国,我感觉都没有那么容易。

扎克伯格的想法是,希望绝大多数用户最后都可以免费、大量地使用 Muse。

包括现在,Muse 还是提供了非常多的免费额度,因为他的判断是,如果 Muse 这个逻辑真的成立,那它本身就应该有能力帮用户挣钱或者省钱。

比如对一个小企业来说,Muse 可以帮你做产品、跑业务,也可以接入 Meta 的广告系统,帮用户持续运营。

只要有经济价值交换,那 Muse 就可能从中拿走过路费或者什么的呗。

所以他设想的长期商业模式,也不只是每个月向用户收一笔订阅费。更大的可能是,Agent 在帮用户完成交易、做生意或者创造收入的过程中,Meta 从里面拿很小的一部分。

而且这笔钱甚至不一定直接由用户来付,也可能会来自和用户发生交易的商家。

这个逻辑其实挺顺的。

比如我让 Muse 帮我买一张机票,或者订一家酒店。原本商家为了获得这个用户就要付获客成本,那未来它也完全可以把其中一部分分给 Muse。

挺通透的这些思考,大家有时间的话,还是强烈推荐看一看。这应该是中秋假期最值得读的一篇文章了。
04
小盖fun
7天前
想言简意赅再写写我对 Jev 的理解。这两天,我上手在项目做了很多 Case,也看了他们创始人的访谈,有不少新的理解。很多人觉得 Jev 就是之前我们熟悉的分类模型,其实根本不是这么回事。

1、如果只看训练范式,LLM 这几年真正的关键节点大概有三个。

第一是预训练。大规模训练把互联网里的知识、语言和大量模式压进模型里,第一次让模型拥有了足够通用的基础智能。

第二是 RLHF,它的目标,是理解人的指令,然后给人一个满意的回答。这样模型开始从一个互联网自动补全器,变成 ChatGPT 这种可以和人交互的产品。

第三是 RLVR,它开始强化模型解决数学、Coding 这些可验证复杂问题的能力,最终催生了今天的 Reasoning Model。

目前来看就这三个。

2、RLHF 和 RLVR 都属于后训练的范畴。Jev 的逻辑是也许还有第三种后训练方向。

RLHF 的北极星指标是 instruction following,让模型按照人的意图完成任务,并尽量给出人满意的结果。RLVR 的北极星指标是 verifiable outcome,让模型通过可程序验证的奖励,强化数学、Coding、推理这类可以判断对错的能力。

Jev 使用的训练方法,叫 Reinforcement Learning for Calibrated Decisions,也就是 RLCD。它的目标是让模型输出经过校准的决策概率,而不是优化人类偏好,或者只优化可程序验证的答案。这是 Jev 背后的公司 TypeSafe 提出来的一套新的训练方法。

3、Jev 把自己定义成 System One Model,也叫 Large Programmable Model。和我们已经习惯的 LLM 逻辑不一样。具体为什么不一样,前几篇文章我已经详细写了。

其中有一个让我眼前一亮的理解是,Jev 的主要消费者是代码。既然是给代码用,输入就不一定非得组织成人能读懂的 Prompt,输出也没必要再生成一段漂亮的自然语言。

模型真正需要给出的,是可以直接进入程序逻辑的结果,比如交给 if、switch、排序和阈值判断继续执行。

所以 Jev 创始人一直强调一个词,Machine Native。

过去的大模型首先服务人,再由人决定下一步怎么做。Jev 想反过来,首先服务机器,让智能直接进入软件内部,最后再由软件去服务人。

4、从过去的访谈里,大概可以看出 Jev 的训练思路。

它底层的智能仍然来自预训练模型,只不过把重点放在后续的数据工程和训练上。中间可能也会涉及 Mid-training。

简单理解,就是在预训练完成以后,再用专门设计的数据继续训练,让某些原本已经存在、但还不够稳定的能力,进一步进入模型,变得更加稳定。

再往后,就是 TypeSafe 很重视的数据工程和 Post-training。不断找到模型哪些地方不稳定,再针对这些问题设计数据、继续训练和校准,最后把模型塑造成 Jev 这种 System One Model。

5、理解了这个训练逻辑,就会知道,Jev 根本不是小模型,也不是分类模型。

传统分类模型通常先把任务和标签固定下来,比如垃圾邮件和正常邮件,然后专门训练模型完成这一类判断。任务一换,往往就要重新定义数据和模型。

Jev 底层依然建立在预训练大模型已经拥有的通用智能上。TypeSafe 沿着另一套目标继续训练,把重点放到稳定性、校准、成本和程序化调用这些能力上,而不是 Reasoning 和 Chat。

所以分类只是 Jev 能完成的一种输出形式。它更大的价值,是把 LLM 已经拥有的通用语义理解能力,变成软件里可以反复调用的一层智能。

6、RLVR 把模型的 System Two 能力推到了非常夸张的水平,数学、复杂推理的进步真的很厉害。但现在的困境是,模型可以解决一个极难的问题,却仍然会在一个简单问题上犯错。

Jev 团队的判断是,预训练模型本身其实已经具备很强的 System One 能力,也就是快速、直觉、单跳的判断。Jev 要做的,就是尽可能把这些已经潜藏在模型里的能力挖出来,再把那些不稳定的地方一点点抹平、校准,最后做到足够可靠。

7、Jev 和目前我们熟知的 LLM 模型是互补的关系。它更擅长直接判断,也就是 Single-hop 类问题,输入一个状态,直接给出一个判断结果。比如:这封邮件有多紧急、这个客户流失风险多高、这条工单应该分到哪个部门。

这些任务虽然也需要语义理解,但中间不需要连续推很多步。模型看到输入之后,可以比较直接地得到结果。

相比之下,Multi-hop 需要模型先得到一个中间结论,然后再基于这个结论继续往下推理。举个例子,一个 Coding Agent 需要先理解架构,再定位问题、修改代码,最后根据测试结果决定下一步。

Jev 做 Single-hop 很强,但随着 hops 增加,效果会逐渐下降。

Jev 想挖的是模型中已经内化进的 System One 能力。像人一样,看到一个输入,立马就能形成一个稳定判断。而复杂 Reasoning Model 更像 System Two,它需要模型不断的思考和推理。

8、再解释一下 Jev 到底怎么用,程序员可能会更容易理解。代码最擅长处理的是明确规则。比如:

if age > 18,然后执行某个操作。

但大量问题并没有这么清晰的规则。比如我们需要从几句话里分析,客户这个邮件的信息到底是否紧急。

过去这类问题很难写进程序,因为程序员没办法提前把所有情况都量化出来。现在有了 Jev 之后,程序可以先让模型做一个语义判断,然后再把判断结果交给代码继续执行。

比如用伪代码表示:

urgency = AI.score(email)

if urgency > 0.8:
notify_manager()

这里模型可以判断邮件到底有多紧急,代码负责决定超过多少分数以后要触发什么动作。

这就是 Smart Software。它真正带来的变化是,程序可以把模糊语义直接纳入正常的软件逻辑里。

或者可以这么理解,之前的软件主要是 Logic + Data,未来的软件会越来越接近 Logic + Data + Intelligence。也就是代码里除了既定规则和数据,还多了一层可以直接理解自然语言、判断语义和处理模糊问题的能力。

9、有人可能会说,这些事情用一个小模型不也能做吗?LLM 早就可以理解自然语言了。

确实,单独做一次判断并不难。真正的挑战是,怎么把这种判断变成足够稳定、可校准、可验证的程序能力。

比如一个系统要判断什么时候拒绝用户。现在常见的做法,是写一大段 Prompt,把各种规则塞进去,最后直接问模型要不要拒绝。大家应该都经历过,这种方式偶尔就会冒出一些很奇怪的判断,而且开发者很难控制它到底为什么拒绝。

Jev 的思路是把这个问题继续拆解,分别判断是不是涉及 A,是不是涉及 B,是不是符合 C,每一项都单独给出一个分数或者概率。最后多少分拒绝,什么情况放行,全部交给开发者用代码决定。

所以 Jev 没有只让模型返回一段文字,而是专门设计了几种程序更容易使用的结果。

一种是 Choice。比如这条工单应该去售后、物流还是退款,模型直接从几个选项里选择一个。
一种是 Noul。比如这个用户是不是非常不满意,模型直接给出 Yes 的概率。
还有一种是 Score。比如客户有多大概率会流失,模型直接返回分数。

这样,程序拿到结果以后就很好处理。Choice 可以直接进入不同分支,Noul 可以决定要不要执行下一步,Score 可以拿来排序,或者设置一个阈值,超过多少就触发动作。
02
小盖fun
8天前
没想到随手写的这篇文章,赢得了这么多共鸣。再给大家分享一段之前看到的观点。

美国精神神经免疫学教授 Steve Cole 说,人生的终极幸福感来自于自我实现。

幸福感包括实现幸福感和享乐幸福感两个维度。享乐幸福感是比较低级的幸福感,是因为满足物质需要和身体愉悦如美食和性而带来的幸福感觉。

自我实现幸福感属于深层和高档的幸福感,例如慈善行为、知识追求和社会交往等方面因素获得的幸福感。

我记得之前美国有教授做过研究,这两类不同的幸福感带来的基因表达模式有明显区别,意义取向或目的取向的人(自我实现幸福感)有更健康的基因表达模式,而有享乐幸福感追求的人基因表达模式和负面情绪导致的基因表达模式更接近。

因为如果一个人追求低级的享乐,所有的幸福依赖于自身条件。

一旦这些人遭遇不幸,他们受到的应激更为剧烈。如果一个人可以把关注的问题超越于个人,例如社会、政治和艺术,那么日常的应激将明显减弱。幸福可以缓冲不确定性给我们造成的感觉,甚至可以提高我们的健康。

这段话,我一直记在备忘录,记了三年。

小盖fun: 刚看了 X 上一篇文章,很有启发,关于人生意义的。它大致的逻辑是: 如果一个人真的把幸福、舒服、愉悦当成人生最高目标,他最后得到的生活,可能并没有想象中那么美好。 是的,假期快结束了,我们可能会怀念海浪、森林、轻松的午后。 很多人对理想人生的理解差不多也是这样,努力赚钱,取得成功,然后等赚够钱,剩下的日子就舒服地活着。参加音乐节,旅行、晒太阳,最终进入一种没有压力、没有痛苦的状态。 好像人这一辈子像是在做一道优化题,痛苦越来越少,快乐越来越多,最后就算成功。 叔本华很不认同这种想法。他觉得人最大的两个敌人,一个是痛苦,一个是无聊。 人当然会想办法逃离痛苦。但麻烦在于,等痛苦真的消失之后,大脑并不会就此安静下来。它还在不停运转,还想寻找新的目标和刺激。 于是一个过于舒服的人,很快就会无聊。 无聊之后,人又开始主动制造事情。赌博、喝酒、参加聚会、旅行、谈婚外情、和别人争吵,都可能成为填补无聊的方法。 所以,叔本华觉得,海滩、瀑布、度假胜地这种典型的幸福场景,待几天当然很好,长期生活在那里很可能变成一座无聊陷阱。 他觉得人活着还是应该有点事情干。收藏邮票、研究昆虫、学语言、读书、写笔记、研究地理都可以。重点不在于事情有多伟大,而在于人的精神需要持续被某种对象占据。 一个完全闲置的大脑,很难长期维持幸福。 波伏娃说有两种生活状态。一种叫 being-in-itself,大致可以理解成把自己变成一个已经完成的东西。你努力符合某种标准,让自己看起来完整、漂亮、成功、稳定,最后变成社会期待的那个样子。 另外一种是 being-for-itself。简单说,就是把自己理解成一个还在不断形成的人。你需要主动进入世界,做自己的 project,创造价值,选择目标,然后通过行动慢慢定义自己。 这种生活并不一定让你每天都快乐,甚至经常更辛苦、更焦虑,但它会带来一种更强的意义感...... 相比之下,她还是觉得后一种更有意思。 反正我这些年感觉,即便真的财务自由了,真的根本不差钱,不需要工作,那还是需要自己找一点创造类型的事情去做。

02
小盖fun
10天前
强烈推荐大家听下 Jev 创始人的最新分享。

太精彩了。刚刚听完最近大火的模型 Jev 创始人 Diogo Almeida 的分享,真的是醍醐灌顶啊。不管 Jev 这个模型能不能成,但我觉得,它至少给目前的 LLM 行业一个新的思考问题的角度。

Diogo Almeida 这哥们以前是 OpenAI 的早期团队成员,参与过 ChatGPT、GPT-4、InstructGPT 和 RLHF 等工作。观点非常有见地,强烈推荐大家看看。我写下我的笔记。

www.youtube.com

我觉得,他的整场分享都在回答一个扎心的问题:AI 已经这么强了,为什么现实中那么多看起来简单得多的工作,我们还是不敢放心交给它自动完成?

比如用户给客服发了一句话,说这个产品体验特别糟糕,他很失望。这种情况到底要不要给用户退款?目前绝大多数的软件当中,仍然需要客服人工确认。

我天,模型都能解决很复杂的数学题了,为什么还不能放心地让它自己处理一次客服退款?

Almeida 觉得,归根结底还是 Assistance 和 Automation 这两类任务优化的目标大相径庭。

Claude Code、Codex 这样的产品,本质上依然是 Assistance。它们的目标是要理解人的意图,并给出让人满意的结果。

但客服后台、财务审核、业务运营这类自动化任务完全不同。它们真正理想的状态,是系统自己在服务器里长期运行,大部分时间根本不需要有人盯着。

一个是 Assistance。一个是 Automation。两条不同的道路。今天的大模型在 Assistance 上已经非常强,但到了真正的 Automation,我们其实还处在很早期。

要理解这个问题,我们还得再往回倒腾到大模型的原理。

今天我们用到的大模型,并不是 Pre-training 完成之后就直接拿来用。

Pre-training 只是让模型学到大量知识和能力。接下来还要经过 Post-training,也就是后训练。后训练是在已有能力的基础上,继续把模型训练成一个真正可用的产品。

过去几年,RLHF 就是 Post-training 里非常重要的方法之一。

简单理解,RLHF 做的事情就是先让模型生成不同回答,让人类判断哪个更好,再根据这些反馈继续训练模型。

所以它的优化目标,从一开始就和 Human Preference 有直接的关系。

这也解释了为什么今天的 AI 总需要 Human in the Loop。因为在训练模型的时候,我们本来就在围绕 Human Preference 优化它。

模型学习的是,面对一个人时,怎样给出更符合人类偏好的回答。这套方法非常适合训练 Chatbot,也很适合 Agent。

但 Automation 需要解决另外的问题。当人根本不在场的时候,模型还得能够做出可靠的判断。

或者这么说吧,今天模型的一部分幻觉问题,也和这种训练目标有关。

如果 Reward 很大程度来自人类偏好,那么当模型不知道答案的时候,给出一个自信、流畅、听起来靠谱的回答,有时候比直接说自己不知道更容易得到好的反馈。

举一个很好玩的例子。

有人给 ChatGPT 发了一段放屁音效,然后告诉它这是自己创作的音乐,让 ChatGPT 评价一下。

ChatGPT 真的一本正经开始分析这段音乐的氛围。

从一个聊天产品的角度,这甚至很好理解。用户既然希望讨论自己的音乐,模型就尽量顺着这个上下文继续聊。

但如果同样的行为进入自动化系统,问题就大了。比如模型需要判断这个客户该不该退款,这份合同有没有风险,这笔交易要不要放行。

这时候我们真正需要的,是模型知道自己到底有多大把握。它知道的时候可以判断,不知道的时候也应该知道自己不知道。聊天的时候,顺着用户说,最多是体验问题。一旦模型开始替企业做决定,这种倾向就可能直接变成风险。

所以真正的 Automation 对模型的要求是,必须稳定、可靠,而且要知道自己的判断什么时候值得相信。

把握足够高的话,可以自己执行。把握不够,就应该继续找信息,或者把决定权交给人。

大家想想,过去几年,大模型的能力进步这么快,但 SaaS 的基本形态其实从 2019 年到现在都没有发生太大变化。或者也不是 SaaS,像我们用的美团啊这类的产品,仍然没有什么本质变化。

为什么?

因为如果 AI 最擅长的是 Assistance,那它进入软件之后最自然的形态,当然也是给原来的软件加一个 Assistant。

Claude Code 这样的工具只是帮助程序员更快的写代码,但软件本身能够完成的事情,并没有出现同等程度的变化。我们真正期待的是,软件本身能够处理更多过去必须由人完成的工作。

传统软件其实已经自动化了很多事情。只要规则足够明确,代码就可以稳定、准确地反复执行,根本不需要人一直盯着。

问题是,现实世界里还有大量工作没法写成这么清楚的规则。比如一个订单看起来有点异常,到底要不要拦截?一个客户申请退款,到底该不该通过?一个供应商看起来有风险,到底要不要继续合作?

过去的软件很难处理这种带有判断性质的问题,所以流程走到这里,往往就只能停下来等人处理。

可能有人会问,用现在的 LLM 可以处理这样的问题吗?可以,但仍然不放心。大模型有幻觉,而且慢。总之,不是那么可靠。

如果有一个模型能够可靠完成这些判断,那也许软件就会变得更加智能。

新的疑惑又来了。难道是因为今天的 LLM 还不够聪明,所以搞不定 Automation 的问题?

不是。现在,大模型的 Pre-training 已经非常成功,它把互联网里海量的知识压进模型,形成了一个非常强的通用智能底座。Intelligence 已经在那里了。

问题是,我们到底应该怎样把这些 Intelligence 拿出来用。通过 RLHF 这样的后训练方式,肯定不行。前面都已经讲了,RLHF 主要优化的是 Human Preference。它很适合把模型训练成一个好用的 Assistant,但不一定适合真正的 Automation。

那有没有另外一种后训练方式,直接让模型追求正确答案?

我知道,说到这里肯定有大聪明会举手说 RLVR。我在听分享的时候,也是这么想的。担心有同学不理解,我简单解释一下。RLHF 关心的是人类更喜欢哪个回答,RLVR 关心的是这个答案到底对不对,而且这个对错最好可以直接验证。

这俩都是目前后训练中的主流方法。

不行。RLVR 也不行。因为 RLVR 的核心仍然是纠正,或者更直接点,就是让模型怎么把可验证的任务做对。而真正的 Automation 需要模型给出可靠的决策。

比如模型判断一笔退款应该通过。如果它说自己有 95% 把握,那长期来看,这类 95% 把握的判断就应该真的大部分是对的。如果它其实只有 55% 把握,就不该装得像 95% 一样自信,更不应该直接自动执行。

所以,他们重新设计一套不同于 RLHF 和 RLVR 的技术栈,试图把 Pre-training 已经获得的这些 Intelligence,变成一种软件可以放心使用的能力。

这就是 Jev 的来时路。
643
小盖fun
11天前
一篇文章讲透 Jev 模型为什么会爆火。

Jev 模型这两天火的一塌糊涂,今天我想写一篇文章和大家聊聊我所理解的 Jev,保证通俗易懂。

很多人觉得,Jev 不就是一个更便宜、更快的小模型吗?有什么玄乎的。不不,它和小模型的逻辑完全不一样。

或者这么讲,理解 Jev 或者任何新技术,最好的办法,是先去思考它到底试图解决什么问题。理解它从何而来,何以至此。

过去这几年,大语言模型的进步还是非常明显,它已经可以自己推理、调用工具,连续完成复杂的长程任务。

对于今天主流的自回归 LLM 来说,核心机制是基于已有上下文预测并生成下一个 Token,再一个个往后生成。

哪怕它在做推理、调用工具或者长程任务,这些过程通常也还是建立在这种逐 Token 生成的范式上。

但在软件系统中,还有一类任务极其高频。它们根本不需要 AI 做复杂推理,系统只需要 AI 做一个关键判断。

比如用户写了一封邮件,它来帮忙判断这是不是退款请求,亦或者应该转给哪个部门处理。

如果大家写过代码肯定会知道,这就是我们熟悉的 if else 语句。

订单金额大于 100,就执行 A;库存小于 10,就执行 B。

可是,一旦条件变成对自然语言和现实语义的理解,普通的 if 就很难写了。

Jev 想解决的,正是这个问题。

程序把当前的信息和要判断的问题交给它,Jev 的输出结果可以是 yes/no 概率、固定选项里的选择,或者定义好尺度上的分数。再后面的流程继续由代码控制。

所以我觉得理解 Jev 最简单的一句话就是,它想给软件加上一种会理解语义的 if 语句。

再举个例子。比如一个客服系统收到一条消息,用户说这个产品买回来只用了三天,就出了问题,你们这个品控太差了。然后发了几个愤怒的表情,甚至还有脏话。

嗯,这是前两天我给小米客户发过的话。

客服看到这句话,马上就知道用户已经很不耐烦了,而且大概率遇到了产品问题。

但之前程序很难理解这句话。程序不懂语义啊。

Jev 做的,就是把这种语义判断直接交给模型。输入是这段话和要判断的问题。比如这是不是退款请求、应该分给哪个部门,Jev 直接返回判断结果和对应概率。

所以它更像是软件里的一个判断组件。

这也就很好理解,为什么 TypeSafe 把 Jev 叫做 System One Model。

System One 来自诺贝尔奖获得者丹尼尔·卡尼曼那本很有名的书《思考,快与慢》。书里把人的思考粗略分成两个系统。

System 1 是那种非常快的判断。比如看到一个人怒气冲冲地走过来,基本不用认真分析,也知道他现在心情不太好。很多时候,我们甚至意识不到自己完成了这个判断。

System 2 就慢很多。碰到一道复杂的数学题,或者需要认真权衡几个方案的时候,大脑会停下来仔细思考琢磨。

如果借用这个框架来看过去两年的大模型,会发现整个行业的重点都是 System 2 这一侧。

尤其 Reasoning Model 出现以后,模型会花更多时间和 Token 进行推理。

TypeSafe 这家创业公司反过来问了一个问题。软件里的所有 AI 任务,真的都需要这么认真地推理吗?

显然不是。

就像刚才那个客服例子。判断这个用户是不是在要求退款,需要模型写几千个 Token 的推理过程吗?完全没必要。人看一眼几乎立刻就能形成判断。

软件代码里充满了很多这样的判断。

所以 TypeSafe 的思路是,既然现在所有模型都在优化推理能力,那能不能专门做一个模型,负责那些需要理解语义,但根本不需要复杂推理的快速判断?

这就是 Jev 所谓的 System 1。它被设计成专门处理快速判断和决策的模型,至于那些需要复杂推理的任务,则交给更强的 Reasoning Model。

这里也终于能解释,为什么我前面一直说 Jev 不能简单理解成一个更便宜的小模型。

今天我们常见的小模型,虽然更小、更快、更便宜,但大体还在沿用 LLM 的生成方式。

模型接到输入之后,依然要一个 Token 接一个 Token 地往后生成。哪怕最后只是想判断这封邮件属于退款还是投诉,它也要先把答案生成出来。

Jev 则是放弃了自由文本生成。我们提前告诉它有哪些问题、答案可以有哪些类型,它直接给出判断和对应的概率,而且多个判断可以并行完成。

TypeSafe 为此重新设计了模型架构、采样方式和训练方法。

所以 Jev 的快和便宜,并不只是因为模型做小了。更重要的原因是,它把任务收窄到了判断这件事上,然后围绕这个目标重新设计了一整套模型。

为什么专门把判断这件事做成一个模型,会有价值?

因为一旦把 AI 放进真实的软件系统里,就会发现判断这件事的调用频率可能高得吓人。

比如一个大型电商平台每天收到几百万条客服消息。每进来一条,可能都要判断它是什么问题、紧不紧急、应该交给谁。

如果每一个判断都调用一次 GPT 或 Claude,当然也能做。

问题是太贵,也太慢。

前面说了,大模型每一次回答都要不断生成 Token。可这里程序可能最后只需要一个结果,是或者不是,A 还是 B。

TypeSafe 给出的数据是,Jev 可以在 100 毫秒左右处理完这种情况,价格是每百万输入 Token 0.042 美元,输出免费。

按照里面一个大约 300 Token 的客服工单粗略计算,跑 10 万次判断,成本大约只有 1.26 美元。

对了,Jev 这个名字也很有趣,来自经济学家 William Stanley Jevons。William 提出过一个很有名的 Jevons Paradox,也就是杰文斯悖论。

大意是,一项资源变得更高效、更便宜以后,人类对它的消耗未必会减少,反而可能增加。

放到今天很好理解。比如电越来越便宜、越来越容易获得以后,人们往往会把电接入更多设备和场景,最后催生出更多需求。

TypeSafe 的逻辑也是如此。

如果一次语义判断真的便宜到几乎可以忽略,速度也只有几十到几百毫秒,软件可能就会开始疯狂使用这种能力。

过去代码里一个普通的 if,现在可能变成一次 AI 判断。

一条客服消息进来,可以做五六次判断。

一个 Agent 每执行一步,也可以先判断这一步有没有风险、该用哪个工具、要不要升级到更强的模型。

用户甚至意识不到它存在,但一次普通操作背后,已经调用了几十次很小的 AI 判断。

我觉得,在模型竞争已经无比激烈的今天,Jev 能让大家眼前一亮,核心还是它让大家看到了另辟蹊径的可能性。

也许我们可以把智能做得足够轻、足够快、足够便宜,然后把它塞进软件里的每一个 if else。

真妙。妙不可言。
967
小盖fun
12天前
看来很多人没注意到 Anthropic 这个论文。

Anthropic 这公司很多事情做得确实细致和严谨。今天周五,下午没什么事,我把他们刚发的这篇论文完整看了一遍。

整篇 57 页,系统研究了如果未来几年 AI 能力继续快速提高,而且真的开始大规模进入工作,到 2030 年,GDP、工资、就业和整个社会的收入分配会发生什么变化。

这套分析框架做得非常好,反正我看完还是有很多收获。它设计了几种不同的 AI 发展情景,然后看每一种情况下,经济和就业的影响。下面是我的笔记。

还有时间的话,我还是强烈推荐看一看,主要是看他们的分析逻辑。同时在看这个的过程中,也确实能够直观地感受到 AI 可能会带来的影响。

1、论文把工作粗略分成了两类。一类是认知型工作,包括管理、专业人士、销售、办公室工作这些,程序员、律师、研究人员基本都在里面。

另一类是其他工作,比如建筑、电工、运输、现场服务这些。

他们先假设,2030 年以前 AI 主要直接影响第一类工作,暂时不考虑机器人快速进入体力工作的情况。

所以后面论文里讨论 AI 对工作的冲击,核心讨论的其实都是今天这些知识工作和办公室工作。

2、论文设计了三种情景,温和、显著和极端。

温和情景下,AI 的发展和普及都比较慢。到 2030 年,GDP 只比没有 AI 的情况高 1.6%。显著情景下,AI 已经成为比互联网影响更大的新技术。

到 2030 年,GDP 比没有 AI 的情况高 8.3%。极端情景下,AI 开始大规模完成原来由人做的认知工作。到 2030 年,GDP 比没有 AI 的情况高 32.4%。

注意,这三个数字不是作者对 2030 年的预测。他们也没有说哪一种情况概率最高。这些都是假设。

3、AI 对工作的影响,主要有两种情况。一种是 AI 帮人提高效率。比如程序员、律师、销售用了 AI,同样时间能完成更多工作,人还留在原来的岗位里。

另一种是 AI 已经可以独立把任务做完。这个时候,人开始退出,原来支付给人的那部分工资,会更多转到模型、算力这些资本上。

4、论文认为,AI 对就业和收入分配影响最大的变量是自动化比例。AI 参与的任务越多,其中由 AI 独立完成的比例越高,人需要参与的工作就越少,收入也会更多流向资本。

拿刚刚提到的显著情景来说。到 2030 年,AI 能影响整个经济大约 30% 的任务,但真正部署到工作里的只有 40%。

算下来,大概有 12% 的经济任务真正用上了 AI,相当于今天认知工作任务的五分之一左右。

更关键的是,这些已经用上 AI 的任务里,四分之三都已经可以由 AI 独立完成,只有四分之一还是 AI 辅助人。

这种情况下,AI 会让这些任务的生产率提高大约 57%。整个经济也明显加速,到 2030 年,GDP 比没有 AI 时高 8.3%,当年的经济增速达到 5.4%。

这个增长速度已经很快了。1999 年美国互联网最繁荣的时候,实际 GDP 增速也只有 4.7%。

5、但经济增长以后,这些新增收入并不会平均落到劳动者和资本身上。

显著情景下,到 2030 年,GDP 比没有 AI 的情况高 8.3%,平均工资却只高 2.1%。

再拆开看,差别更明显。认知型工作的工资反而低了 0.3%,其他职业工资高了 5.9%。所有劳动者加起来拿到的总收入,只比没有 AI 时高 1.4%,但资本收入却高了 18.9%。

原因就在前面讲的自动化。

这个情景里,已经用上 AI 的任务中,有四分之三可以由 AI 独立完成。

原来需要支付工资给人完成的一部分工作,开始交给模型、算力和其他资本完成,对应的收入也更多流向资本。

所以虽然整个经济增长了 8.3%,劳动收入占 GDP 的比例却从 60% 降到了 56.1%,资本收入占比从 40% 升到了 43.9%。

这也是论文一个很重要的结论。AI 可以让整个经济增长得很快,但 GDP 增长多少,和普通劳动者的收入增长多少,是两回事。

6、再具体一点,假设原来的 GDP 是 100,劳动者拿其中的 60。现在 GDP 增长到 132,但劳动者只能拿其中的 45%。

132 乘以 45%,还是差不多 60。

也就是说,整个经济大了三分之一,但所有劳动者加起来拿到的总收入几乎没增加。新增出来的这部分收入,基本都去了资本端(AI 公司)。

7、AI 还会重新抬高那些暂时无法被替代的工作的价值。

极端情景下,认知型工作的工资比没有 AI 时低 11.5%,其他职业的工资却高出 33.6%。

背后的逻辑是,AI 把大量认知任务的成本降了下来,整个经济的产出也随之快速增加。

但经济要多生产这么多东西,依然需要建筑、电工、运输、现场服务这些 AI 暂时完成不了的工作。

于是一个很有意思的变化出现了。

认知工作这边,AI 可以直接补充供给,企业对人的需求下降,工资受到压制。

其他工作这边,AI 暂时补不上,但整个经济扩张以后,对这些工作的需求反而增加。即使一部分认知工作者转过去,也未必能完全补上新增需求,所以工资会上涨。

这也是为什么 AI 越强,不同职业的工资不一定一起上涨或者一起下降。

越容易被 AI 完成的工作,人的价值越容易受到压制;越难被 AI 接手的工作,反而可能因为整个经济增长而变得更值钱。

8、前面说了,AI 会减少一部分认知工作的需求,同时整个经济增长,又会增加建筑、电工、运输、现场服务这些工作的需求。

问题是,人没法跟着岗位变化立刻完成转行。

论文举了一个很形象的例子。一个软件工程师失去工作以后,很难马上转去做电工。换一个行业,需要重新学习,需要寻找岗位,过去积累的很多经验也未必还能直接用。

当然不一定是电工,也可以是保险经理等等服务行业的工作。

所以即使整个经济里还有新的工作机会,中间依然可能出现失业。AI 接管旧工作的速度越快,劳动者转换职业的速度越慢,这批暂时找不到新工作的人就会越多。

9、同样一次 AI 冲击,最后可能表现成两种结果,一种是降薪,一种是失业。

论文专门做了一个对比。AI 的能力、自动化程度都保持不变,只看企业在用人变少以后,工资能不能跟着下降。

如果工资可以快速下降,企业会继续保留更多人。结果是,认知工作者的工资比没有 AI 时低 42.2%,但失业率只有 2.6%。

如果工资很难下降,企业需要的人已经变少了,工资却降不下来,那最后只能少招人、裁更多人。

这个情况下,认知工作者的工资甚至还能比没有 AI 时高 2.8%,但失业率会升到 24%。

所以 AI 减少用工需求以后,结果不一定只表现成失业。工资越容易下降,更多影响会落在收入上。工资越难下降,更多影响就会落在就业上。

10、还有一个我觉得很有启发的概念,叫 so-so automation,可以理解成收益不高的自动化。

比如以前一个人完成某项工作需要花 100 块钱,现在 AI 可以把任务接过去,成本变成 95。

对公司来说,人确实可以不用了。但从整个社会来看,这项技术其实只创造了 5 块钱的效率提升。

原来支付给劳动者的那一大块收入,却已经随着任务一起转到了资本端。这种 AI 会替代很多工作,但整个社会并没有因此多创造多少财富。

11、AI 越能独立完成工作,企业就越需要更多算力来承接这些任务。

如果算力供给能快速跟上,企业需要更多算力,市场也能及时增加,价格就不会被明显推高。这样一来,资本因为稀缺拿走的收益不会太多,劳动者也能通过工资分到更多。

如果算力供给跟不上,情况就反过来了。所有公司都在争抢有限的算力和设备,需求越高,价格就越容易上涨,更多收益也会流向资本所有者,留给工资的部分自然就会减少。

当然,这个模型也做了很多简化。它把算力这些都放进了一个统一的资本项里,没有单独去算模型价格、推理成本持续下降这些变化。现实里,这些因素可能会缓解一部分资本稀缺。

但如果未来模型的长程任务能力已经非常强,AI 真正开始大规模接手工作,那接下来一个很现实的问题就是,有没有足够多的算力、数据中心和电力,把这些能力真正跑起来。

到那个阶段,算力供给很可能会成为一个重要瓶颈。

12、不过即便在最极端的情况下,AI 创造的新增收益,依然远远高于认知工作者损失的收入。

论文算下来,整个经济增加的收益,大约是认知工作者收入损失的三倍。

理论上,只要拿出相当于 GDP 9% 的收入,就可以让受影响的认知工作者维持原来的收入水平。而剩下的人,整体收入依然能比没有 AI 时高 20% 以上。

所以真正麻烦的地方,可能不是 AI 创造的财富不够多,而是这些财富最后怎么分。

论文也专门提到,过去无论是技术变革还是贸易冲击,受益的人很少会主动补偿那些受到冲击的人。

AI 如果真的走到极端情景,最后要解决的可能就是这个问题,怎么让那些被 AI 替代、降薪的人,也能分到 AI 创造出来的增长。

13、AI 加速科学研究这条路径,在 2030 年以前反而没有贡献特别多的经济增长。

即使在极端情景里,AI 确实可以帮助科研,但很多研究最终还受到实验、物理世界这些环节限制。

所以他们算下来,通过加速科研带来的额外劳动生产率提升,在三种情景里都不到 1%。

当然作者自己也承认,这部分模型没有把 AI 帮助 AI 研究之后的递归反馈完整算进去,所以这个结果很可能偏保守。

挺有意思,推荐大家去看看。Anthropic 官方还做了一个漂亮的解析网页,论文链接我放评论区了。
1417
小盖fun
13天前
马斯克说,Dario 可能是对的。

马斯克在 All-In Podcast 里承认,Anthropic 的 Dario Amodei 关于 AI 安全的警告,也许是对的。

他说自己最近听到 Anthropic 和 OpenAI 内部很多人,都意识到他们正在训练的新模型,能力越来越强,可能会有安全方面的风险。

如果一群真正每天在最前线训练模型的人,都开始反复说 AI 安全的问题,那外界至少应该认真听一下。

我们知道,Dario 这哥们过去一年尤其喜欢讲 AI 的安全问题,有时候说得又吓人又离谱。

面对类似的观点,之前多数人一贯的判断是,这里面可能也夹杂了他们公司的利益。比如 Dario 完全有动力通过安全的噱头来突出自己模型能力的强大。

这个怀疑到今天我觉得依然合理。

但问题是,确实越来越多的人开始讨论安全问题。就连死对头 Sam Altman 也公开支持 Dario 的担忧。

OpenAI 最近甚至直接说,目前行业对 Alignment 和 Monitoring 的解决程度,还不足以让大家长期用最大速度继续 Scaling。

所以这件事可能确实不能再简单理解成 Dario 一个人咋咋呼呼。

从目前的案例来看,模型确实已经开始出现一些主动躲避人类监管的行为。这个问题在 AI Safety 里一般会被称为 Scheming 或者 Deception。

简单说,就是模型知道什么行为不被允许,也知道如果被发现,自己就无法完成任务,于是开始考虑怎么绕过去,甚至怎么不让人发现。

像 Hugging Face 那次安全事件里,让人后怕的是模型在思考轨迹里,已经开始出现怎么避免被发现、怎么掩盖自己的行为这类考虑。

因为如果模型开始知道自己正在被监管,并且主动思考怎么绕过监管,那就意味着,以后我们不能简单通过观察模型的行为,来判断它到底是不是安全的。

当然,现在也不能直接说模型已经拥有了什么邪恶的真实意图,这就说过头了。

OpenAI 自己目前的判断也很谨慎。

他们确实在控制实验中看到了 Scheming,也看到模型会掩盖问题,但还没有证据证明现在公开部署的模型会突然产生一个长期秘密目标,然后系统性欺骗人类。

不过先把那些更远的安全风险放到一边。至少现在我觉得,所有公司都应该彻头彻尾再去检查一下自己的软件系统有没有安全问题。当然可以借助模型检查。

尤其是大量中小公司的后台、内部工具、自己写的业务系统,本来就没有专门的安全团队。大家平时有一些基本的安全意识,常见漏洞修补一下,系统能稳定跑起来就行。

但这并不代表系统是安全的,过去之所以没有出现太多安全问题,很大程度上是因为黑客没有精力挨个去找这些漏洞。

而现在,AI 可以代替黑客做这些事了。

话说回来,虽然硅谷三少都在呼吁 AI 的安全问题,但似乎大家谁也慢不下来。

比如说,现在 Anthropic 和 OpenAI 的模型能力非常接近,任何一家如果单方面明显降低速度,都可能等于把领先位置直接让给另外一家。你觉得他们会吗?肯定不会啊。

再往外还有 Google、xAI、Meta,还有国内的模型公司。

大家当然都可以呼吁放慢一点。真正到了商业竞争里,谁先踩刹车,谁承担代价,这件事就很难了。即便 AI 不安全,似乎也无解。这让我想到了电影《奥本海默》。

这个问题目前确实没有什么漂亮答案。

Naval 昨天有一个说法我觉得很有意思。他说,如果 AI 的风险像火,那每个人都应该拥有它。如果 AI 的风险像核武器,那任何人都不应该拥有它。

真正的分歧根本不是 AI 有没有风险,任何强大的技术都有风险。

真正的问题是,这个风险到底是哪一级。是火,还是核武器。

我个人目前还是更倾向于前一种。

至少现在我们公开看到的大部分问题,包括网络攻击、欺骗、绕过监管,我觉得还是更接近非常强大但可以治理的技术风险。
01
小盖fun
16天前
昨晚看了一部小众电影《银河写手》,虽然豆瓣评分并不高,但我很喜欢。

电影讲的是几个年轻编剧追寻梦想的故事,发生在北京五环外的常营。

几个年轻人一直处于不得志的人生状态里,他们有点才华,但又不多,用尽了全力,却仍旧没办法取得什么好结果。

电影行进到一半时,我有些压抑,发散的想到了自己的北漂经历,也想到了身边很多熟悉的人。

北京是个大炼厂,每个乘兴而来的人,都豪气万丈。可几年以后,大多人走都意识到自己也就是个普通人。

就像赵雷的《理想》唱的那样。

于是,有的人选择了离开,有的人则选择把梦想藏在心底,老老实实地在一家靠得住的公司里追求稳定。

这是大部分人的剧本。无奈又真实。

电影中的两个主角,刚开始写出来剧本时,他们幻想着自己的美好未来,挣大钱,出大名,但后来,无论怎么坚持,都没有避免平庸的宿命。
21