“我失去了对OpenAI领导层及其负责任处理AGI的能力的信任,所以我辞职了。”
作者: Sigal Samuel
Leike在X上发布的一篇帖子中也表达了类似的看法。他写道:“我与OpenAI领导层在公司核心优先事项上已经有相当长时间的分歧,直到我们最终达到了一个临界点。”
OpenAI未能及时对置评请求作出回应。
为什么OpenAI的安全团队对Sam Altman失去了信任
要了解发生了什么,我们需要回到去年11月。那时,Sutskever与OpenAI董事会一起试图解雇Altman。董事会表示,Altman“在沟通中不一致地坦诚”。翻译一下:我们不信任他。
罢免失败了。Altman和他的盟友,公司总裁Greg Brockman,威胁要将OpenAI的顶尖人才带到Microsoft——这实际上会毁掉OpenAI——除非Altman被重新任命。面对这一威胁,董事会妥协了。Altman回来了,比以前更有权力,带来了新的、更支持他的董事会成员,并有更大的自由来管理公司。
当你射击国王却未命中时,事情往往会变得尴尬。
公开场合,Sutskever和Altman表现出继续友好的样子。而当Sutskever本周宣布离职时,他表示要去追求“一个对我个人非常有意义的项目”。Altman在X上两分钟后发文称,“这让我非常难过;Ilya是……一个亲密的朋友。”
然而,自从未遂政变以来,Sutskever已经有大约六个月没有出现在OpenAI办公室了。他一直在远程共同领导超对齐团队,负责确保未来的AGI与人类的目标保持一致,而不是失控。
这虽然是个不错的目标,但与公司日常运营脱节,公司在Altman的领导下正在加速商业化产品的进程。而在Altman复职后不久发布并迅速删除的这条推文,更让人对他们的友谊表示怀疑:
因此,尽管公开场合表现出友好,但自从前者试图罢免后,Sutskever和Altman是否真的还是朋友是值得怀疑的。
而Altman被解雇后的反应也揭示了他的性格:他威胁要挖空OpenAI,除非董事会重新聘用他,并坚持要让新成员加入董事会,以倾向于他,这显示了他对权力的决心以及避免未来制衡的态度。前同事和员工描述他是一个操纵者,言行不一——比如他声称要优先考虑安全,但行为却与此相矛盾。
例如,Altman正在与像沙特阿拉伯这样的独裁政权筹资,以便建立一家新的AI芯片制造公司,这将为他提供大量建设尖端AI所需的资源。这让注重安全的员工感到担忧。
如果Altman真心关心以最安全的方式构建和部署AI,为什么他似乎急于积累尽可能多的芯片,这只会加速技术的发展?
更何况,为什么他要冒与可能利用AI来加强数字监控或侵犯人权的政权合作的安全风险?
对于员工来说,所有这些都导致了逐渐的“失去对OpenAI说它要做什么或它重视什么的信任”,一位熟悉公司内部情况的人士告诉我。
这个逐渐的过程在本周达到了高潮。
超对齐团队的联合领导Jan Leike没有试图表现得友好。他在Sutskever宣布离职几小时后在X上发文称:“我辞职了。”没有温暖的告别。没有对公司领导的信任投票。
其他注重安全的前员工转发了Leike的直率辞职声明,并附上心形表情符号。其中一位是Leopold Aschenbrenner,一名Sutskever的盟友和超对齐团队成员,他上个月被OpenAI解雇。媒体报道指出,他和同一团队的另一名研究员Pavel Izmailov据称因泄露信息而被解雇。但OpenAI没有提供任何泄露信息的证据。
鉴于每个加入OpenAI的人都签署了严格的保密协议,Altman——这位深谙硅谷网络的老手,擅长与媒体打交道——如果他想摆脱Sutskever的盟友,很容易将分享哪怕是最无害的信息描绘为“泄密”。
同月,另一名安全研究员Cullen O’Keefe也离开了公司。
两周前,另一名安全研究员William Saunders在EA论坛上发表了一篇隐晦的帖子,这是一个有效利他主义运动成员的在线聚集地,他们在AI安全领域有着重要参与。Saunders总结了他在OpenAI超对齐团队的工作。
然后他写道:“我于2024年2月15日从OpenAI辞职。”一位评论者问了一个显而易见的问题:Saunders为什么要发布这个?
Saunders回答:“无可奉告。”评论者们得出结论,他可能受到不贬损协议的约束。
将所有这些与我与公司内部人士的对话结合起来,我们得到了一个至少有七个人试图从内部推动OpenAI更安全,但最终对其魅力四射的领导者失去信心,无法继续留任的情况。
“我认为公司中许多认真对待安全和社会影响的人认为这是一个开放性问题:在像OpenAI这样的公司工作是否是一个好的选择?”熟悉公司内部情况的人士说。
“答案只有在OpenAI真的会认真和负责地对待它所做的事情时才是‘是’。”
随着安全团队的崩溃,谁来确保OpenAI的工作是安全的?
Leike不再负责超对齐团队后,OpenAI用公司联合创始人John Schulman取代了他。
但团队已经被掏空。而Schulman已经忙于确保OpenAI现有产品的安全工作。我们还能期待OpenAI在未来进行多少严肃的、前瞻性的安全工作呢?
可能不多。
“设立超对齐团队的全部意义在于,如果公司在构建AGI方面取得成功,会出现不同类型的安全问题,”一位熟悉公司内部情况的人士告诉我。“所以,这是对未来的专门投资。”
即使在团队全力运作时,这个“专门投资”也只占OpenAI研究人员的一小部分,并且仅承诺20%的计算能力——这可能是AI公司最重要的资源。现在,这些计算能力可能会被分流到OpenAI的其他团队,而是否会有更多关注避免未来AI模型灾难性风险的工作尚不清楚。
需要明确的是,这并不意味着OpenAI现在发布的产品——比如新版本的ChatGPT,被称为GPT-4o,可以与用户进行自然对话——会毁灭人类。但未来会发生什么呢?
“区分‘他们当前是否在构建和部署不安全的AI系统’与‘他们是否在轨道上安全地构建和部署AGI或超级智能’是很重要的,”一位熟悉公司内部情况的消息人士说。“我认为第二个问题的答案是否定的。”
Leike在他周五的X帖子中也表达了同样的担忧。他指出,他的团队一直在努力获得足够的计算能力来完成工作,总体上“逆风而行”。
最引人注目的是,Leike说,“我认为我们应该将更多的精力投入到为下一代模型做好准备、在安全、监控、准备、安全、对抗性鲁棒性、(超级)对齐、保密、社会影响及相关主题上。这些问题相当难以解决,我担心我们没有在正确的轨道上前进。”
当世界上AI安全领域的顶尖人才之一表示世界领先的AI公司没有在正确的轨道上前进时,我们都有理由感到担忧。
www.vox.com