时隔半年,前OpenAI科学家llya重返公众视野,在一档播客中抛出四个核心观点:
一:scaling laws的边际效应递减
"The 2010s were the age of scaling, where you could just scale up and get better results. That age has shifted. Now, we are back in the age of wonder and discovery."
他指出2010年代确实是scaling的黄金期,但现在的投入产出比已经发生了质变。
数据枯竭是一个物理事实,单纯扩大预训练的规模所产生的边际效益正在急速递减。
在这个阶段盲目烧钱堆参数所得到的只是微不足道的提升,而不是质的飞跃。
这意味着行业正在从工业制造阶段回归到了科学探索发现阶段。
二:大模型的锯齿状能力
当前AI处于一种即是天才又是笨蛋的割裂状态,针对这一点llya跑出一个新概念:Jaggedness。
GPT-4 可以在奥数竞赛中秒杀人类精英,却可能在一个简单的代码修复任务中犯下低级错误。甚至当你让它修一个 Bug 时,它修好了一个,却引入了三个更弱智的新 Bug。
Ilya 认为,这种极端的偏科,揭示了一个被忽视的真相:
"This suggests they don't truly understand the underlying reality; they are just mimicking the patterns of the data."
它们的高分表现,源于对海量数据的“背诵”,而非真正掌握了推理逻辑。
三:寻找AI的价值函数
如果单纯堆数据走不通,那下一步该怎么办?Ilya 将目光投向了人类本身。
他提出了一个灵魂拷问:
为什么人类小孩只需要看几次猫,就能认出所有的猫?而 AI 需要训练几万亿个 Token?
答案在于“价值函数” (Value Function)。
"Humans are incredibly sample-efficient... Because we have emotions, which act as a powerful value function."
Ilya 认为,人类的情感本质上是一种高效的筛选机制。
它像一个内在的指南针,告诉我们什么信息是重要的、什么是“好”的结果。
而目前的 AI 是冰冷的概率机器,它缺乏这种内在的评价体系,只能笨拙地穷举所有可能性。
未来的突破点,在于赋予 AI 这种“内在指引”,让它从“盲目模仿”进化为“价值判断”。
四:从压缩到解压,重新定义智能
在访谈最后,Ilya 对当前主流的“预训练”范式进行了深刻的反思。
"Intelligence is not just compression; it's about what you do with that information after you've unzipped it."
他打了一个精妙的比方:预训练本质上是对世界信息的压缩。
我们把互联网上的一切塞进模型里,但这只是第一步。真正的智能,不是看你记住了多少,而是看你如何使用这些记忆。
这就是他强调 Post-training和 Inference的原因。如果说预训练是读万卷书,那么推理就是行万里路。
这也解释了为什么他创立的新公司 SSI 不走寻常路——他们不再执着于训练参数最大的模型,而是致力于研究如何让模型学会真正地思考。
llya的这次访谈,揭示了AI发展史上的一个分水岭。
它宣告了野蛮生长阶段的结束。
在过去的五年里,我们摘完了所有低垂的果实——只要有钱、有卡就能赢。
但现在,果树变高了。
对于从业者而言,这既是坏消息也是好消息。
坏消息:简单的线性增长结束了;
好消息是:真正的技术竞赛才刚刚开始。
谁能率先找到 Scaling 之后的新范式,谁才是下一个时代的赢家。
正如llya所说:
Scaling the wrong thing gets you nowhere. We need to scale the right thing.