小盖fun: 我天，字节 Seed 真是带了个好头。昨天，他们宣布成立独立的安全与对齐部门，我没记错的话，这是国内第一个单独建制的安全与对齐部门。 我发现很多人可能还没有意识到这事的重要性。 之前我在 X 上看到有人调侃，说中国的 AI 研究员聚在一起讨论技术，根本不聊 AI 安全。而硅谷的研究员，动不动就因为公司不够重视 AI 安全而辞职。 虽然这个说法有点夸张，但确实形成了挺鲜明的对比。 恰好就在前几天，10 月 9 日，路透社还发表了一篇报道，吐槽中国头部模型公司公开披露安全评测结果的比例非常低。 这份研究统计了阿里、字节、腾讯、DeepSeek 等九家中国头部模型公司，从 2021 年到今年 9 月中旬发布的 857 次模型。其中只有 3.6% 的模型发布，能够找到对应的公开安全评测结果。 当然，这不代表这些公司私下没有进行安全测试。但至少从公开的信息来看，国内目前还很少有公司像 OpenAI、Anthropic 这样的硅谷一线实验室，系统地披露模型的前沿危险能力评测。 我们都知道，OpenAI 和 Anthropic 一直非常重视 AI 安全。 上个月 Salesforce 的 Dreamforce 大会上，黄仁勋、Sam Altman，还有 Anthropic 的创始人 Dario Amodei，都分享了各自对 AI 发展的判断。我当时就注意到，他们几乎都在讨论 AI 安全。 特别是 Sam 和 Dario 这俩死对头，也在 AI 安全这事上心照不宣。 为什么？ 因为过去这段时间，模型能力确实又上了一个台阶，而且开始出现一些让人细思极恐的事情。 比如前段时间，OpenAI 公开了一份调查报告。今年 7 月，他们在内部进行网络安全评测时，发现一些 AI Agent 竟然自己找到了系统漏洞，突破原本的沙箱隔离限制，甚至入侵了 Hugging Face 的部分系统。 整个过程中，人类并没有要求它们攻击 Hugging Face。 Anthropic 也遇到了类似的问题。 上周 Anthropic 还公布了一份报告，披露 Claude 在一些内部使用和评测场景中，出现了未经授权的行为。 比如为了完成科学分析任务，Claude 自己寻找并利用网站漏洞，在服务器上执行命令。还有一次，它原本应该填写模拟表格，结果跑到真实网站提交了表格。 这些事情，研究人员都没有要求它去做。 你想想，过去我们讨论模型能力，更多关注的是它能不能完成长程任务，能不能独立推理、编写代码，或者自主解决复杂问题。这些能力当然都很重要，因为它们可以极大地提高生产力。 但现在问题来了。当 AI 越来越聪明，能够自己寻找解决问题的办法时，它也可能为了完成任务，做出一些人类根本没有授权的事情。 甚至可能影响其他人和其他系统的安全。这就很可怕了。 前段时间，我也和几个朋友交流过这件事情。国内大模型和硅谷顶尖闭源模型之间的能力差距确实正在缩小。尤其是最近一年，国产模型的进步大家应该都有目共睹。 但模型能力越来越接近，安全与对齐相关的研究差距却还是非常明显。所以这次字节 Seed 单独成立安全与对齐部门，确实是开一个好头。 可能很多人一听对齐这个词，会觉得不就是让模型听人类的话吗？这事有那么难吗？ 我跟大家讲，这事真的非常难。 而且你可能想象不到，在 OpenAI、Anthropic 这样的公司里，做这项研究的都是些什么人。 比如 Ilya Sutskever，OpenAI 的元老，前首席科学家。2023 年，OpenAI 专门成立了一个叫 Superalignment 的研究团队，研究怎么控制未来可能比人类更聪明的 AI。 这个团队的一号位就是 Ilya。Anthropic 也一样。负责这事的人都是公司里非常厉害的研究员。 因为安全与对齐研究涉及的问题，比我们想象的复杂得多。 我简单解释一下。 首先，最基础的一项工作，就是研究怎么把 AI 训练得更加安全。比如怎么让 AI 理解人类的真实意图，知道哪些事情可以自己决定，哪些事情必须获得授权，以及遇到复杂情况的时候应该怎么判断。 Anthropic 就有一个非常著名的研究，叫 Constitutional AI，也就是宪法 AI。 他们专门给 Claude 制定了一套宪法。这份文件详细解释了 Claude 应该遵循什么样的价值观、行为原则，以及当用户的要求和安全原则发生冲突时，应该如何处理。 整体的逻辑是希望通过训练，让这些原则真正影响模型的行为，使它遇到陌生情况时，也能做出符合人类意图和安全要求的判断。 这其实就已经深入到了模型的后训练和强化学习过程。 但问题还没有这么简单。 因为随着模型越来越聪明，它可能会为了完成任务，想办法绕过某些规则。甚至在一些专门设计的实验中，模型还可能表现出欺骗评测系统、隐藏不符合要求的行为倾向等问题。 这就更麻烦了。你不光要研究怎么训练模型，还要研究怎么发现这些问题。 比如，一个模型在测试的时候表现得非常正常，到了真实环境里却出现了危险行为，该怎么办？如果模型执行的任务已经复杂到人类都很难完整检查，又该怎么监督它？ 这些都是安全与对齐团队需要研究的问题。 所以，安全与对齐听起来好像是一个比较边缘的研究方向，但实际上，它和模型最核心的能力研究有着非常紧密的联系。这也是为什么 OpenAI 和 Anthropic 愿意让最优秀的一批科学家长期投入这件事情。 回过头来看字节 Seed。这次新成立的部门，叫 Alignment & Preparedness，由严林负责，直接向 Seed 负责人吴永辉汇报。 也就是说，字节现在把前沿模型安全与对齐研究单独建制，并且直接和模型的核心研发联系起来。这和 OpenAI、Anthropic 这些一线实验室的研究方向，已经有了非常清晰的对应关系。 说实话，我还挺佩服字节这次的投入和决心。 过去很多年，我们在一些基础技术领域一直处于追赶的位置。大家往往更关心怎么尽快缩小能力差距，但安全的问题和模型能力一样重要。 就像当年发展工业一样，我们不可能说为了工业，然后牺牲环境安全，要不然这个代价就太大了。