App内打开
歸藏: AI 搜索公司 Exa CEO 的年底长文
对 AGI 到来的前夜的社会变化做了一些预测
首先受到严重影响的是数学家，然后是开发人员
每个开发人员都会变成技术主管，专门的前端开发可能会在三年内消失，之后是理论物理学。
对于刚毕业的大学生他的建议是：成为一个主动问题解决者和一个优秀的团队成员
推荐看看写的很好：x.com/WilliamBryk/status/1871946968148439260
全文翻译：
以下是这位 AI 创业公司负责人对 2025 年的展望译文:
AGI 前夜的思考
本周我和几位朋友讨论了 o3。他们的反应大致是:"天哪,这真的要发生了吗?"
是的,这确实正在发生。接下来几年将会疯狂。这是历史性的时刻,甚至可以说是银河级别的。
荒谬的是,对正在发生的事情几乎没有深入的讨论。AI 实验室不能谈论它。新闻媒体几乎不报道。政府也不理解。
我们竟然是通过社交媒体的梗图信息流来讨论人类的未来,这感觉就像一部荒诞的情景喜剧,但现实就是如此。
以下是我对正在发生的事情的一些思考 - 这是我对 X 平台思想深渊的贡献。
注意,这些想法都是半成品和有趣的推测。我没有足够的时间去深入思考/研究所有内容,很多观点可能是错的。但我希望这些思考对那些试图理解当前形势的人有所帮助。
请享受阅读。
------------------------------------------------------
- o3 本不应令人震惊。两个月前 OpenAI 就向我们展示了测试时的规模扩展图表,计算机的历史告诉我们要相信这些趋势线,无论它们看起来多么难以置信。真正令人震惊的是它在 2 个月内就实现了。我们从大学水平的 AI 到博士水平的 AI 只用了这么短的时间。对人类来说,变化是令人兴奋的,但快速变化则令人震惊。
- 接下来会发生什么是显而易见的。o3 类模型在优化任何可以定义奖励函数的任务方面都非常出色。数学和编程的奖励函数相对容易设计。小说创作则比较困难。这意味着在短期内(1年),我们将得到能力不均衡的模型。它们在数学、编程和一般推理方面将达到接近 AGI 的水平,但写出的小说会比较平庸。虽然更好的推理能力会让模型在各方面都显得更智能,但它们仍会在没有经过强化学习的领域犯一些愚蠢的错误 - 即在训练数据之外的领域。从长远来看(1-3年),我们会不断增加新的领域来训练它们(情感数据、感知数据等),直到这些盲点被修复,届时这些模型对任何人来说都将明显是 AGI,除了 Gary Marcus。
- 智能代理真的要在 2025 年到来了。o3 这样的模型一定能够浏览网页/应用并采取行动。这种任务很容易设计奖励模型。这也是一个巨大的市场 - 自动化计算机工作 - 所以对需要证明其巨额投入合理性的实验室来说有很大的激励。我猜到 2025 年 12 月,你就可以让你的电脑执行任何涉及浏览网页/应用和移动数据的工作流程。
- 在所有"被颠覆"的知识分子中,数学家可能是最严重的。数学家在符号空间工作。他们的工作与物理世界几乎没有接触,因此不会受到物理世界的限制。LLM 是符号空间的王者。数学本身并不难,只是灵长类动物不擅长而已。正则表达式也是如此。
一个重要的问题是生成研究水平的合成数据有多难。我猜不会太难。博士水平的数学和研究员水平的数学对我们来说看起来有质的区别,但对 AI 来说可能只是程度的差异,只需要再增加几个数量级的强化学习即可。我给数学家 700 天时间。(这听起来很疯狂,但 o6 不能战胜数学家听起来同样疯狂,所以我对这个预测的信心超过 50%,就像这篇文章中的其他预测一样)。这是指距离人类不再是已知宇宙中数学领域的顶尖玩家还有 700 天。
- 那么我们这些软件工程师呢？短期内这将是天堂。每个软件工程师都刚刚被提升为技术主管,干得漂亮。对于那些充分采用 LLM 的人来说,到 2025 年底编程将更像是指挥一群小代理去执行各种小任务。任何有非常清晰规范的 PR,o4 系统都应该能够处理,错误率低到可以接受。这里可能的一个问题是上下文窗口太小,无法容纳整个代码库,但像 Sam 这样的领导者都很清楚这一点。
AI 会很快取代所有软件工程师吗？不会。软件工程不仅仅是根据超清晰的提示制作 PR。与数学家不同,软件工程师需要不断与物理世界打交道,特别是与其他人。工程师必须与客户合作以理解他们的需求,与团队成员合作以理解他们的需求。当工程师设计架构或编写代码时,他们是带着大量组织背景在做这件事。o4 做不到这一点。但 o4 将帮助掌握这些背景的工程师效率提高 10 倍。
如果软件工程师的效率提高 10 倍,那么我们是否需要更少的人？嗯,对于特定公司来说,他们可能确实需要更少的软件工程师,因为他们可以用更精简的团队达到同样的产出。然而,整个世界对软件工程师的需求可能会增加,因为世界肯定可以使用 10 倍多的优质软件。所以我认为我们将看到精简公司带来的应用程序黄金时代。每个人和企业都会有个性化的小应用。
- 从长远来看(超过 2 年就算长期了,哈哈),软件工程将完全不同,很难说会是什么样子。当 o6 系统存在并完全集成到我们的应用程序中时,怎么可能不改变呢？前端工程师这样的角色可能在 3 年内就不存在了。这听起来奇怪吗？不会 - 30 年前也没有前端工程师这个角色。
我们应该退一步思考,软件每一代都会彻底改变。软件过去和现在都是关于将需求转换为纯逻辑。这个转换过程的抽象层次已经从二进制提升到了 Python。现在的区别是它正在提升到英语层面。
转向英语让非技术人员也能编程。但最好的建设者仍然是那些能在不同抽象层次之间自如切换的人。
简而言之,由于软件工程实际上是通过代码理解和解决组织需求,软件工程完全自动化的那一天就是所有组织都自动化的那一天。
- 我们已经讨论了一些知识工作者,但体力劳动者呢？AI 也在来找你,但速度较慢,因为它必须处理重力和摩擦。但 o 类模型不会对机器人技术帮助很大,因为需要一个小时才能完成的模型对工厂流水线上的机器人没有帮助。基础模型变得更智能确实有帮助,o 类模型也将帮助训练这些模型,但我不认为这能解决机器人技术进步的最大瓶颈。我猜测最大的瓶颈是硬件改进和用于感知+行动的快速/可靠模型。这两者都需要更长时间才能改进(即还需要几年)。只有当机器人开始制造机器人,AI 开始进行 AI 研究时,机器人技术才会出现疯狂的快速进步。这可能来自 o 类模型,但我认为还需要几年时间。
- 我一直在用年为单位讨论,但也许我们真的应该用计算能力为单位。时间决定人类产出,但计算能力决定 AI 产出,而在研究机构,AI 产出将越来越重要。这就是为什么建造超级计算集群的竞赛正在进行 - Meta 的 2GW 集群、Xai 的额外 10 万个 H100 等。
所有实验室都会很快跟随 OpenAI 使用测试时计算模型,有些实验室最初可以用更多的计算能力来弥补较差的算法。他们会像追赶 GPT-4 那样追赶。要制作这些模型,需要结合共同知识和每个实验室的独特秘诀。目前还不清楚 OpenAI 在 o 类模型方面有多少独特秘诀,但他们的改进速度表明这是一个算法进步(更容易复制)而不是某种独特的数据组合(更难复制)。
在测试时计算的时代,我不确定拥有更多计算能力还是更好的模型更重要。一方面,你可以通过投入更多的测试时计算来弥补较差的模型。另一方面,稍微更好的模型可能会节省指数级的计算量。
如果 Xai 因为他们更擅长建立大规模集群而赶上 OpenAI,那将会很有趣。
无论如何,不会有一个模型护城河能持续超过一年,因为实验室之间像棒球卡一样交换研究人员,而且更重要的是,不同实验室的研究人员会一起聚会和约会。另外我认为研究人员太理想主义了,如果事情失控了他们不会不分享信息。
我们现在的处境很疯狂。AI 竞赛就像核竞赛,但美国人和苏联人周末在洛斯阿拉莫斯一起聚会,在推特上互相挑衅说"打赌你 2025 年不会有最大的核弹哦 lols :)"
AI 竞赛会继续感觉很嬉皮和充满趣味,直到政府介入和/或发生一些非常糟糕的事情。
- o 类模型以几种有趣的方式改变了计算能力扩展的动态。
o 类模型激励大规模建设,因为它们在每增加一个数量级的计算能力时都有明显的收益。计算提供商不可能要求更好的扩展定律了。我猜这个定律就是 Sam 看到后想要一个数万亿美元计算集群的原因。
这对 Nvidia 来说可能并不是很好。o 类模型使推理比训练更重要。我认为超级优化的推理芯片比训练芯片更容易构建,所以 Nvidia 在这方面没有那么大的护城河。
非常具有推测性的想法:如果 o 类模型能解锁全世界聚合的计算能力来训练最好的模型呢？就像开源如何通过我们将 MacBook Pro 组合成推理超级集群来击败闭源一样酷。
- 现在除了计算之外,代码本身也是一个新的指数级增长因素。如果一个实验室独家/特权访问最智能的模型,使他们的软件工程师的生产力比其他实验室高出 2 倍,那么他们就能更快地接近下一个生产力翻倍。除非代码速度达到上限,有大量实验要运行,实验室再次被计算能力所限制。(我不知道,动态很复杂。看看实验室如何模拟他们应该在计算还是人员上投入多少资金会很有趣。)
- 尽管所有这些计算能力建设和知识工作自动化听起来很疯狂,但当科学家们开始感受到 AGI 时,事情才真正变得疯狂。我说的是你们这些物理学家、化学家、生物学家。
它将从任何带有"理论"二字的领域开始。理论物理学是第一个。如果数学真的被解决了(写这句话听起来都很荒谬,但这并不意味着它不可能),那么理论物理学应该也不会落后太远。它也生活在 LLM 将超人一等的符号领域。
当我们在路易斯安那的田野里有一百万个 AI 冯·诺依曼日夜工作时(Meta 即将建成的数据中心)会发生什么？他们会多快读完过去一个世纪数千科学家写的每一篇物理论文并立即吐出更正确的内容？
显然这是故事中难以预测的部分。理论物理学、化学、生物学 - 如果这些对经过强化学习的 LLM 来说只是个笑话呢？在这一点上我们有什么合理的论据说它不会是这样？是的,我们还没有从这些模型中看到真正的创新,但它们大多停留在高中/大学水平,而这些年龄段不会发明新的物理学。我们现在处于博士水平,所以我们可能开始看到一些创造性。
- 一旦 AI 开始产生新的科学理论,进步的瓶颈将是物理世界中的测试和实验。那里的瓶颈是劳动力和材料。到那时,如果没有能够制造更多机器人的机器人那就令人惊讶了。所以劳动力问题解决了。然后材料可以由机器人开采。这里的时间表会很慢,因为制造/运输实物需要很长时间,但是是以年而不是几十年为单位。
- 我上面说的一切都假设 AI + 机器人研究/开发没有引入新的瓶颈,并且模型可以随意学习。这几乎肯定不会发生。AI 进步的最大瓶颈将是人类。我指的是监管、恐怖主义和社会崩溃。
政府不会坐视地球被几家旧金山公司运营的自动机器人开采(监管)。如果政府太无能无法阻止,那么愤怒的失业者可能会诉诸暴力(恐怖主义)。除非人们被 AI 增强的媒体弄得如此麻木以至于我们无法作为一个社会运作(社会崩溃)。
如果发生战争,我认为这不会成为瓶颈,反而会成为加速剂。
事情会变得严肃。2025 年可能是 AI 仍然是旧金山科技推特梗图谈论的狂野事物的最后一年,在西装革履的普通人参与之前,所以让我们趁还能享受 roon 和 sama。
- 这会杀死所有人吗？我更害怕人类滥用 AI 而不是 AI 失控。
我们有 5000 年的证据表明人类使用最新技术相互残杀。二战后的和平是一个异常现象,一旦美国失误或当对手认为有必要先发制人以阻止 AI 加速时,这种和平就可能崩溃。当武器变得更致命、更自主时,风险就会更高。
另一个大风险是 AI 导致社会混乱。AI 生成的媒体可能导致大规模混乱、大规模歇斯底里、大规模脑损伤。一个专制国家可能赢得 AI 竞赛并使用新技术剥夺我们所有人数千年的自由。
另一个风险是 AI 失控。这意味着它会导致我们无法预测的灭绝级事件。特别是随着强化学习的回归,AI 现在正在发现自己的优化方法,而不是试图匹配人类数据(匹配人类更安全)。但到目前为止,这些模型的底层大脑仍然是 LLM,而 LLM 已经表现出只是理解人类。就像如果你在提示中包含"确保不要做任何可能杀死我们的事情",现在就得由你来证明它仍然可能杀死我们。当然我还没有考虑到这里的所有论据,但当我做关于 AI dystopia 的噩梦时,我看到的是中国和俄罗斯的旗帜,而不是 OpenAI 的标志。
- 不过我肯定更兴奋而不是害怕。
我一直想要的科幻世界正在到来。它来得比预期快一点 - 因此令人恐惧 - 但在所有可能的路径中,我不确定最好的路径能好多少。这是一个相当不错的时间线。
我希望在十年内实现的一些重要事项:
- 一些疯狂酷炫的物理学发现
- 最初由机器人建造的火星和月球基地
- 完美的导师/建议系统(几乎实现,需要良好的检索、记忆和更多个性)
- 零副作用的生物增强药物
- 乘坐超级优化的无人机飞行
- 通过核聚变、地热和大量太阳能实现全面清洁能源
- 意外发现:AI 天文学家在望远镜数据中发现外星信号？AI 化学家轻松设计室温超导体？AI 物理学家统一一些理论？AI 数学家解决黎曼假设？
这些不再像科幻小说,而是感觉像近在咫尺的科学现实。
- 那么这一切将走向何方？最终我们会获得超级智能,这意味着我们可以获得物理定律允许的一切。我想要永生并看到其他恒星系统。我也期望将我们的肉体升级为更好的东西。但我最兴奋的是了解宇宙从何而来。10 年前我开始写日记,记录我多么想知道这个答案以及 AI 将如何帮助我们达到那里,现在这真的可能发生了,这太疯狂了。
- 我们现在生活在一个这一切听起来都很合理的世界里。每一个新的 AI 发展都让更多的人意识到这一点,o3 是最新的例子。
现在唯一可能导致未来不那么壮观的方式是如果我们人类搞砸了。比如我们的公众舆论、下游政策、社会稳定性、国际合作 - 这些都是可能阻止这个壮观未来的路障。
- 人们认为 AI 实验室的人在控制我们的未来。我不同意。他们的工作已经注定。他们只是在执行必然会在一个或另一个实验室发生的模型架构。
但我们的公众舆论、下游政策、社会稳定性、国际合作 - 这是完全不确定的。这意味着我们集体是未来的监护人。
我们每个人都有责任帮助我们的世界度过这些即将到来的狂野时期,以便我们获得一个伟大的未来而不是可怕的未来。
- 有很多方式可以提供帮助。帮助构建某种使社会更稳定或使人们更聪明的产品(例如:帮助人们调节社交媒体的应用程序)。帮助告知人们正在发生什么(社交媒体上更多高质量评论,一个真正好的搜索引擎等)。帮助清理我们的街道,这样要将我们带入乌托邦的城市看起来就不会像反乌托邦(参与地方政治)。
- 几乎每个我交谈过的人都害怕在 AI 世界中失去意义,你也可能如此。对你们我要说,难道不是完全相反吗？你生活在历史上最重要的时期,你有能力影响它。帮助拯救世界难道不足以赋予意义吗？你想回到只有你的职业在进步而不是整个世界在进步的时代吗？
也许人们需要做出的转变是从通过个人成功获得意义转向通过集体成功获得意义。我们目前的许多工作很快就会被自动化。我们必须适应。如果你从特定技能中获得意义,是的,那个技能可能在 5 年内不再必要,你就倒霉了。但如果你能从尽可能帮助世界中获得意义,那么这永远不会消失。
- 对于因为 o3 而被给予建议的所有应届毕业生,这是我的建议:学会成为 1)一个有主动性的问题解决者和 2)一个优秀的团队成员。你在途中学到的具体技能不会重要,因为世界会变化得太快。但跳出来解决问题和与团队良好合作将在很长一段时间内都很重要。
你也可能需要接受不稳定世界中的不稳定生活。事情会变得很怪异。你可能不会在郊区有两个孩子和一条狗。你可能会在星际方舟上有两个机器人孩子和一条 AI 狗。
我们正生活在 AGI 的前夜,在这个平安夜,我请求你帮助使 AGI 转型顺利进行,这样我就可以在 3024 年的平安夜在距离地球四光年的 Altman Centauri 轨道上的星球上向你问好。
