我们刚决定今年年底团建去日本，可以东京约了耶！

这篇写得很好。前半部分是《智能简史》这本书的一个很好的摘要，对比了人类的进化历史与大模型的发展史 - 二者几乎是相反的。人类的演化之路是：“value function”-“强化学习”-“模拟/思维链”-“监督学习”-“语言模型”，而AI则是反过来的，“语言模型”-“监督学习”-“思维链”-“强化学习”。

文中提到，“大模型走的路线几乎相反。⁠我们先用整个人类文明留下的文字训练出一个系统，让它一出生就能谈论爱情、代码和量子力学，然后才一层层往回补课... 如果说生物进化的主线是把经验一层层虚拟化，那么大模型走的就是反方向，从最二手的经验出发，一点点去够一手经验。”

如果按照这样下去，大模型发展的最后一步，应该对应到生物进化的第一步，“value function”。这也正是以 Ilya 为首的当下几家最著名的 Neolabs 们的bet - “人类的学习过程一向主要来自与环境的互动和内心的感觉，这是一种很高效的无监督学习形式，而未来一个可能的突破点在于让模型也具备这种直觉性的中途判断能力。⁠持续学习现在最关键的一个卡点就是 sample efficiency 太差，如果能拥有这种 inner value function，AI 的学习效率就会有质的飞跃。”

智能的进化就是如此有趣。碳基生命几亿年的积累，被压缩到 AI 模型里成为最初始的养分，好像 AlphaGo 训练时所用的几千万人类对局棋谱一样。而当智能足够进化的时候，这些经验又会成为某种桎梏。AlphaZero 忘掉了之前的所有这些棋谱，从零开始，以无招胜有招。或许模型也要摆脱人类的二手经验，尝试用自己的感官获取第一手信息，最终做到青出于蓝而胜于蓝吧。

最近翻了些生物进化、脑科学的书，好有意思，终于还是不务正业地写了一篇碳基 AGI 训练与对齐笔记

线虫、多巴胺与股份公司：进化给 RSI 的启发

在拾象做AI research,  也曾尝试着成为一个哲学家，  但不知为何，  老是被愉快的心情所打断

线虫、多巴胺与股份公司：进化给 RSI 的启发

来自圈子

AI探索站