即刻App年轻人的同好社区
下载
梦境 · Project 30
那天，我仿佛置身于一个巨大而安静的科技园区，天空是淡灰色的，阳光透过厚重的云层，像扫描仪一样缓慢移动。我走进一栋由玻璃与金属构成的建筑，楼层中空，仿佛一艘停靠在地表的飞船。我们正在筹备一个新项目，名叫Project 30。
会议室里只有几个人，CTO 站在巨大的电子白板前。他的声音低沉却坚定：“我们要让算法参与到硬件的自我优化中。”
我困惑地问：“为什么？算法不是一直专注在软件和数据上吗？”
他顿了顿，回答：“因为公司认为收益高。”
Project 30 的目标被简洁地写在白板上：
30 天计划，在第 20 天完成。
随着会议结束，一切陷入奇异的转换。场景像被抽走了重力，我的身体漂浮着，被拖进了另一个世界——一个科幻宇宙的幻象。
我置身于一艘幽暗而高科技的宇宙飞船中，舷窗外是深邃无边的星海。这里曾经有 30 位乘员。但飞船的某个系统设定了一个冷酷的标准：为了能顺利穿越某个未知区域，飞船必须减重，最终只能留下 20 人。
这不是投票、也不是抽签，而是一种悄无声息的自我淘汰。每个人都知道这个机制，但没有人明确说出来。
直到某天，只剩 21人。
那天，船员们聚在一个银色的大厅中，没有人说话。忽然，有人站了起来，轻声说：“我要去想想。”
然后，他走进一道发着蓝光的门。门缓缓关闭。几分钟后，飞船广播响起，冰冷却柔和的机械音说道：
“当前乘员人数：20。”
一阵沉默。没有人哭泣。也没有人阻止他离开。
而我感到一种深深的震撼，仿佛那是一种由集体意志与目标驱动的静默牺牲。
这一刻，我才明白 Project 30 的真正含义。
我回到现实的会议室，CTO 看着我说：“现在，你明白了吧。”
我点点头，却分不清，我到底是刚醒来，还是才刚入梦。
那天，我仿佛置身于一个巨大而安静的科技园区，天空是淡灰色的，阳光透过厚重的云层，像扫描仪一样缓慢移动。我走进一栋由玻璃与金属构成的建筑，楼层中空，仿佛一艘停靠在地表的飞船。我们正在筹备一个新项目，名叫Project 30。
会议室里只有几个人，CTO 站在巨大的电子白板前。他的声音低沉却坚定：“我们要让算法参与到硬件的自我优化中。”
我困惑地问：“为什么？算法不是一直专注在软件和数据上吗？”
他顿了顿，回答：“因为公司认为收益高。”
Project 30 的目标被简洁地写在白板上：
30 天计划，在第 20 天完成。
随着会议结束，一切陷入奇异的转换。场景像被抽走了重力，我的身体漂浮着，被拖进了另一个世界——一个科幻宇宙的幻象。
我置身于一艘幽暗而高科技的宇宙飞船中，舷窗外是深邃无边的星海。这里曾经有 30 位乘员。但飞船的某个系统设定了一个冷酷的标准：为了能顺利穿越某个未知区域，飞船必须减重，最终只能留下 20 人。
这不是投票、也不是抽签，而是一种悄无声息的自我淘汰。每个人都知道这个机制，但没有人明确说出来。
直到某天，只剩 21人。
那天，船员们聚在一个银色的大厅中，没有人说话。忽然，有人站了起来，轻声说：“我要去想想。”
然后，他走进一道发着蓝光的门。门缓缓关闭。几分钟后，飞船广播响起，冰冷却柔和的机械音说道：
“当前乘员人数：20。”
一阵沉默。没有人哭泣。也没有人阻止他离开。
而我感到一种深深的震撼，仿佛那是一种由集体意志与目标驱动的静默牺牲。
这一刻，我才明白 Project 30 的真正含义。
我回到现实的会议室，CTO 看着我说：“现在，你明白了吧。”
我点点头，却分不清，我到底是刚醒来，还是才刚入梦。
1 10
一种形式描述我过去几年的工作就是拿 Software 2.0 （neural networks）吃掉公司里 Software 1.0 的代码（借助 Andrej Karpathy 提出的概念）。这是一种在很多公司未必有很深体感的经历，因为机器学习在 neural networks 之前就被广泛应用到推荐搜索或是定价等核心系统中，很多工程师做的是用 neural networks 取代传统 ML models 或是围绕着 neural networks 的基础设施、数据和模型的优化。
Software 2.0 eats 1.0 在有的地方比较容易，比如推荐，因为这样的场景下反馈是很及时的，每一次推荐在几秒到几分钟内都能知道用户是什么反应。优化的目标和 neural nets 的输出也往往是一致的。当然从 1.0 到 2.0 仍然会有很多基础工作要做，最基本的特征构造和数据流搭建，以及还要说服产品把推荐改成对 neural nets 更为友好的形式。很长一段时间，我们是把商品聚合起来，推荐一个个列表，而不是一件件商品。
Software 2.0 eats 1.0 在有的地方比较困难，比如定价，因为它的反馈是有很长延迟的，想象一下一件商品从有价格到被卖出要多久。以及要优化的目标和 neural nets 的输出并没有那么容易对齐，比较可行的方式是把最终目标拆解成一系列因子的组成，先替换掉其中比较重要的因子的实现。当然最终的框架往往不是当前的因子组合，甚至你会发现现有的框架下，某些因子算得越准未必最终结果是更好的，这些都是需要你相对独自去面对的。
Software 2.0 下，当你不再控制具体的逻辑分支时，作为拥抱这个变化的人会说，那我们对输入和输出做好监控，以最终的表现为准；而没有接受这个转变的人，会要求你做长时间的测试（虽然你本来也是这么计划），但同时还会不断加入 1.0 的代码，而伴随 1.0 代码的往往是更大的笃定，因为他们控制着逻辑分支，所以觉得效果一定是好的。我理解这种觉得没错的感觉，但以我 apply neural nets 的经验，即使我做了离线的评估，在线上真实情况下，一次性就取得收益的概率大概是在 50% 往下，因为总有离线不能被模拟的地方，以及人对于可能存在的反例总是预估不足的。
说到可能存在的反例，一个令我意想不到的是，因为 1.0 的逻辑分支有时候不能覆盖所有的情况，比如缺少一些必要的值来参考，这个时候反倒求助于 2.0 来作为补丁。对于他们而言，2.0 的作用是总能产生一个输出值。如果你有足够的耐心，可以在这里建立的一个 neural nets，然后不断把 1.0 代码覆盖的情况吸收进来。
Software 2.0 eats 1.0 还会在意想不到的地方遇到阻力。比如很久以前要做一个分类的任务，这是一个很经典的任务，但就会有人要定义自己的逻辑，制定好标签到分类的映射规则，然后大张旗鼓开始标注标签，历时几个月。后来有一次机会（需求仍然是让 neural nets 处理 corner cases），我对比了一下 NLP 模型预测和映射规则的整体效果，提升了 1 倍以上。
在停留在 1.0 的环境下，我看到很多有潜力的人，花了大量的时间在给逻辑分支打补丁，而没有机会在合适的地方去应用 neural nets。反倒是在 Software 3.0，因为它是通用的 LLM，更多的人即使不在工作中也能使用它，反过来，也可能会考虑在恰当的时候使用 LLM 来替代原有的 1.0 代码。这三种范式会长久同时存在，我们不会用 neural nets 去替代支付功能的代码，而 LLM 未来可能是以生成 1.0 代码的方式实现替代。作为所谓人类的整体，我相信每次变革是结果导向的，而作为公司这样组织，是跟随进步还是被车轮碾过，我觉得就看是以什么姿态面对变化。
Software 2.0 eats 1.0 在有的地方比较容易，比如推荐，因为这样的场景下反馈是很及时的，每一次推荐在几秒到几分钟内都能知道用户是什么反应。优化的目标和 neural nets 的输出也往往是一致的。当然从 1.0 到 2.0 仍然会有很多基础工作要做，最基本的特征构造和数据流搭建，以及还要说服产品把推荐改成对 neural nets 更为友好的形式。很长一段时间，我们是把商品聚合起来，推荐一个个列表，而不是一件件商品。
Software 2.0 eats 1.0 在有的地方比较困难，比如定价，因为它的反馈是有很长延迟的，想象一下一件商品从有价格到被卖出要多久。以及要优化的目标和 neural nets 的输出并没有那么容易对齐，比较可行的方式是把最终目标拆解成一系列因子的组成，先替换掉其中比较重要的因子的实现。当然最终的框架往往不是当前的因子组合，甚至你会发现现有的框架下，某些因子算得越准未必最终结果是更好的，这些都是需要你相对独自去面对的。
Software 2.0 下，当你不再控制具体的逻辑分支时，作为拥抱这个变化的人会说，那我们对输入和输出做好监控，以最终的表现为准；而没有接受这个转变的人，会要求你做长时间的测试（虽然你本来也是这么计划），但同时还会不断加入 1.0 的代码，而伴随 1.0 代码的往往是更大的笃定，因为他们控制着逻辑分支，所以觉得效果一定是好的。我理解这种觉得没错的感觉，但以我 apply neural nets 的经验，即使我做了离线的评估，在线上真实情况下，一次性就取得收益的概率大概是在 50% 往下，因为总有离线不能被模拟的地方，以及人对于可能存在的反例总是预估不足的。
说到可能存在的反例，一个令我意想不到的是，因为 1.0 的逻辑分支有时候不能覆盖所有的情况，比如缺少一些必要的值来参考，这个时候反倒求助于 2.0 来作为补丁。对于他们而言，2.0 的作用是总能产生一个输出值。如果你有足够的耐心，可以在这里建立的一个 neural nets，然后不断把 1.0 代码覆盖的情况吸收进来。
Software 2.0 eats 1.0 还会在意想不到的地方遇到阻力。比如很久以前要做一个分类的任务，这是一个很经典的任务，但就会有人要定义自己的逻辑，制定好标签到分类的映射规则，然后大张旗鼓开始标注标签，历时几个月。后来有一次机会（需求仍然是让 neural nets 处理 corner cases），我对比了一下 NLP 模型预测和映射规则的整体效果，提升了 1 倍以上。
在停留在 1.0 的环境下，我看到很多有潜力的人，花了大量的时间在给逻辑分支打补丁，而没有机会在合适的地方去应用 neural nets。反倒是在 Software 3.0，因为它是通用的 LLM，更多的人即使不在工作中也能使用它，反过来，也可能会考虑在恰当的时候使用 LLM 来替代原有的 1.0 代码。这三种范式会长久同时存在，我们不会用 neural nets 去替代支付功能的代码，而 LLM 未来可能是以生成 1.0 代码的方式实现替代。作为所谓人类的整体，我相信每次变革是结果导向的，而作为公司这样组织，是跟随进步还是被车轮碾过，我觉得就看是以什么姿态面对变化。
4 12
最近对于工作上一个方向的想法基本完成了验证，一个曲折的项目跨越了近一年，当走对路之后，发现一切都顺了。
碰巧看到了一个曾经的讨论片段，决定项目走向的人拿着别人撰写的结果报告，和没有一线参与的人在那里讨论目前结果为什么不好，然后得出一些不可立刻被证伪的宏观猜测。结果是项目预期悲观，优先级变低，而这个过程可能仅是 slack 上的几段聊天记录。
类似的事情重复发生，大多数项目会因此结束，少部分因为处于某些必经之路上会被重启。更糟糕的是，当其中一线参与者把自己的职责视为执行工具，将思考和决策权完全交给需求方，把最一手的反馈也切断了，这样的项目成功率大大降低，或者拿不到本该有的收益。
少有人能在不投入参与的情况下，形成对问题的足够理解，更谈不上提高决策正确的概率。分工越细、权力越集中越容易产生这样的问题。
碰巧看到了一个曾经的讨论片段，决定项目走向的人拿着别人撰写的结果报告，和没有一线参与的人在那里讨论目前结果为什么不好，然后得出一些不可立刻被证伪的宏观猜测。结果是项目预期悲观，优先级变低，而这个过程可能仅是 slack 上的几段聊天记录。
类似的事情重复发生，大多数项目会因此结束，少部分因为处于某些必经之路上会被重启。更糟糕的是，当其中一线参与者把自己的职责视为执行工具，将思考和决策权完全交给需求方，把最一手的反馈也切断了，这样的项目成功率大大降低，或者拿不到本该有的收益。
少有人能在不投入参与的情况下，形成对问题的足够理解，更谈不上提高决策正确的概率。分工越细、权力越集中越容易产生这样的问题。
4 11
和之前楼天城所说的两种学习差异呼应 www.xiaoyuzhoufm.com
歸藏: Andrej Karpathy 说了一些他对 Deepseek R1 的看法，我顺手学习记录一下： DeepSeek 的成功验证了算法创新与资源优化的潜力，但计算能力仍是长期智能发展的核心驱动力。 强化学习的突现能力是模型突破人类认知边界的关键，而合成数据与 RL 的结合将进一步释放深度学习的可能性。 计算资源是深度学习智能的上限： 深度学习对计算资源的依赖远超其他 AI 算法，计算能力直接决定了长期可实现智能的上限。 核心论点： 不仅是单次训练需要大量算力，整个算法创新的实验过程也依赖持续的计算投入。 数据生成本质上也依赖计算（如合成数据、强化学习中的试错过程），计算能力间接决定了数据质量与规模。 数据与计算的深层关联：合成数据与强化学习的等价性 合成数据生成（如模型生成数据后筛选）与强化学习（试错学习）在本质上是相通的。 例如：模型生成数据后通过“优势函数”筛选，等同于强化学习中的奖励机制。 模仿学习 vs. 强化学习的差异： 模仿学习（Imitation Learning）：通过观察和重复（如预训练、监督微调），能力上限受限于人类标注者的认知。 强化学习（Reinforcement Learning, RL）：通过试错探索（如 AlphaGo 的自我对弈），能产生突破性、超人类的表现。 强化学习的“魔法”： RL 是深度学习突破性成果的核心驱动力（如 AlphaGo 击败李世石、模型在思维链中回溯与调整策略的能力）。 这些能力是涌现（Emergent）的，无法通过模仿学习获得，因为人类无法预先标注复杂的认知策略。 RLHF ≠ 强化学习： RLHF（基于人类反馈的强化学习）被过度简化，其效果有限，可能无法真正发挥 RL 的潜力。 Karpathy 认为当前 RLHF 的实现方式偏离了 RL 的核心优势。
3 00
最近遇到一个和我感受很相反的事情，总觉得哪里不对，琢磨了一段时间终于有一点清晰了。起因是同事告诉我，当下一些事情没有推进，我可以不必等着让别人考虑，决策者的重心不在我关心的地方，我可以自己提需求，找其他同事帮我推进，虽然决策者不能考虑我关心的问题，但也没有拦着我。我觉得道理似乎是这么个道理，但为什么我的感觉是过去一直被困住了。
回顾了一下过去发生的事情，我好像发现了问题：1. 我的团队被少了两个人。2. 虽然我关心的事情不在决策者考虑的重心里，但他们会提出其他的需求，团队的部分精力被转移到了另外的事情上。3. 我的动力被逐渐消耗，为了证明一些非共识的事情，本来是需要更大的精力付出，没有很大的动力谁会愿意多做更多的事情。
被困住是因为精力总和是在塌缩，且当下组织的权利是个零和博弈。同事 offer 我的是一个可能突破零和的方法，即提供额外的权利和精力，它并不是一直就存在的。
回顾了一下过去发生的事情，我好像发现了问题：1. 我的团队被少了两个人。2. 虽然我关心的事情不在决策者考虑的重心里，但他们会提出其他的需求，团队的部分精力被转移到了另外的事情上。3. 我的动力被逐渐消耗，为了证明一些非共识的事情，本来是需要更大的精力付出，没有很大的动力谁会愿意多做更多的事情。
被困住是因为精力总和是在塌缩，且当下组织的权利是个零和博弈。同事 offer 我的是一个可能突破零和的方法，即提供额外的权利和精力，它并不是一直就存在的。
7 00
“不要听一个人说什么”
我：“要看他做什么”。
“不，要听他没说什么” —— 曾听一个外国老爷爷这么描述中国人。
What’s most interesting about Chinese people is the subtlety.
我：“要看他做什么”。
“不，要听他没说什么” —— 曾听一个外国老爷爷这么描述中国人。
What’s most interesting about Chinese people is the subtlety.
5 00