前两天 Ilya 的访谈火了,算是把最近几次的模型更新没有满足预期的问题拿到技术底层上拆解了一番。
AI取代人类的难度与挑战还有很多,一个只有15岁的人类所累积接收的token与大模型所学习到token相比是九牛一毛,但却具备了远胜过大模型的学习与泛化能力。这是人类大脑亿万年进化出来的底层模型,我们对此依然一无所知。
目前的训练方式可能遇到了瓶颈,大力出奇迹、拼算力的这套模式可能很难取得显著突破,AI可能要重新进入科研周期。
给我们普通人的启示是,AI 很难在智能水平方面上一个档次,我们使用AI的方式也就不太可能发生很多本质变化。
因此,理解AI有哪些缺点,理解如何上下文管理,可能依然会是最近两三年的核心竞争力。
模型一定会更好,但在新研究取得突破前,不会解决这些本质缺点。