即刻App年轻人的同好社区
下载
OpenAI 现在只是 Facebook｜面对一个又一个争议，这家人工智能公司进入了一个新的阶段。
作者：Matteo Wong
2024年6月5日
OpenAI 似乎正处于一场长达数月的内部反抗之中。最新的爆发点出现在昨天，当时一群11名现任和前任员工——另外还有两家公司的两名员工——发表了一封公开信，宣称领先的 AI 公司不可信任。“这些公司的行为真的不符合公共利益，”威廉·桑德斯，一位签署人，像信上的其他几位一样，今年早些时候离开了 OpenAI，他告诉我。
这封信讲述了一个关于企业贪婪的熟悉故事：AI 可能是危险的，但科技公司为了快速推出产品而牺牲了谨慎的安全程序；政府监管跟不上，员工害怕发声。就在上个月，《Vox》报道了 OpenAI 员工离开公司时被要求签署的保密和不诋毁协议。
违规者冒着失去公司所有已归属股权的风险，这可能是数百万美元——为员工即使在重大社会问题上保持沉默提供了明确的理由。
（OpenAI 的一位发言人在一封电子邮件声明中告诉我，所有前员工已经从不诋毁条款中释放出来，并且这种义务已经从未来的离职文件中删除。）
“人工智能公司有很强的财务动机来避免有效的监管，”信中指出，“我们不认为定制的公司治理结构足以改变这一点。”为了解决这个问题，现任和前任员工要求高级 AI 公司建立一个“警告权”，以便从内部警告他们的产品，并承诺进行实质性的、独立的监管。
“警告权”的信只是一系列高调事件中的最新一个，暗示 OpenAI 已经不再致力于其创始目标——构建“造福全人类”的 AI——而是屈服于投资者。OpenAI 领导者谈论可能的 AI 末日（或者相反，乌托邦）的说法已经退居背景。相反，该公司正在推出企业软件，依赖微软的130亿美元投资，据报道与苹果达成了一项巨大的交易，并首次推出消费产品。在这样做的过程中，它引发了其他争议：一个生成式 AI 助手的声音惊人地像斯嘉丽·约翰逊，尽管她一再拒绝允许公司使用她的声音。（你可以在这里自己听；公司否认复制了约翰逊的声音，并暂停了那个特定的机器人。）至少有一位 OpenAI 的前研究员、至少一位前董事会成员和国家监管机构已经指控该公司或正在调查该公司，因为该公司为了利润而牺牲安全，报复员工，并扼杀竞争。换句话说，OpenAI 已经成为一个成熟的科技巨头——一个与 Facebook 相匹配的下一代 Facebook（《大西洋月刊》最近与 OpenAI 建立了企业合作伙伴关系，与本组织的编辑部门无关）。
OpenAI 内部裂痕的最初迹象可以追溯到三年前，当时一群高级员工离开去成立了一个名为 Anthropic 的竞争对手初创公司，该公司声称更加注重安全地构建其技术。从那时起，一些外部学者、评论家和监管机构批评 OpenAI 发布的 AI 产品充满了众所周知的风险，例如误导性或仇恨性的输出。内部不满真正始于去年11月，当时山姆·奥特曼被免去了 CEO 的职务，据说是因为担心他将公司引向商业化，远离其声明的“对人类的首要受托责任”。（由 OpenAI 委托的 WilmerHale 律师事务所进行的审查后来发现，这次罢免与“产品安全或安全”无关，根据 OpenAI 对调查的总结，尽管报告本身不是公开的。）由微软领头的投资者向 OpenAI 施压，要求恢复奥特曼的职位，它在几天内就做到了，同时含糊地承诺要更加负责。
然后，上个月，公司解散了负责安全研究的内部团队，即所谓的“超级对齐团队”。该团队的一些最杰出成员公开辞职，包括其负责人 Jan Leike，他在 X 上发帖说“在过去的几年里，安全文化和程序已经让位给了闪亮的产品。”《财富》报道称，OpenAI 并没有提供它最初公开承诺的安全研究所需的资源。
桑德斯，也在超对齐工作，说他在“几个月前就失去了希望，比 Jan 早一些。”埃隆·马斯克——2015年是 OpenAI 的创始投资者之一，去年成立了自己的竞争对手公司 xAI——在3月份起诉 OpenAI 违反了一项据称的合同义务，即为了快速商业化，而牺牲了为人类利益构建 AI 的承诺。
与此同时，OpenAI 不断发布新产品，并宣布与一些最大的公司达成新交易。
“警告权”信的签署人中有两人不是 OpenAI 的前员工，这尤其说明问题：这家公司比其他任何公司都更能为生成式 AI 时代定下基调。但当然还有其他公司。
谷歌和 Anthropic，其现任和前任员工也签署了昨天的信，近几个月推出了一系列面向消费者和企业的 AI 工具，包括在谷歌搜索上灾难性的 AI 推出。（该公司似乎至少暂时正在从许多查询中移除 AI 概述。）
OpenAI 的一位发言人告诉我，公司采取了一种“科学方法来解决风险”，并引用了几个例子，说明 OpenAI 已经推迟了产品发布，直到适当的安全措施到位。该公司此前曾指出，筹集资金是获取构建先进 AI 所需的大量资源的唯一途径，它认为这可能会带来一个更好的未来。但桑德斯告诉我，“没有人应该相信公司说他们已经正确完成了这个过程。”
Leike、Musk、Saunders 和其他几十位内部人士担心的威胁大多是推测性的。也许有一天，自我复制的、自主的聊天机器人会设计生物武器、发动核攻击或破坏关键基础设施。
科技高管们自己过去曾警告过这些“存在”风险；奥特曼本人曾将公司的工作比作发明核武器。
前员工可能对如何处理这些危险存在分歧，但他们倾向于同意公司正在构建类似神的计算机程序——批评 OpenAI 处理存在性危害的方法的人不相信公司有能力自我监管，但他们确实相信奥特曼作为世界救世主或毁灭者的神话。
AI 的不那么幻想但已经存在的危险——其煽动虚假信息和偏见、垄断互联网和夺走工作的能力——往往在这些讨论中消失。
但“警告权”信并不是指责生成式 AI 的具体问题，而是指责它当前开发过程的整体：少数公司“在法律出台之前就超越了法律，因为它们正在比监管通过的速度更快地开发[技术]”，桑德斯告诉我。
签署人认为，员工将不得不填补空白，因此需要“无论你的担忧是什么，都有[警告的]权利”，他说。换句话说，问题在于 OpenAI 不是在建设未来，而是采用了一个经过验证的硅谷模式。如果今天的科技公司发明了电，我们将不得不支付过高的价格，不断升级电线和插座，它们超级时尚，输出巨大的电压，偶尔短路，烧焦我们的指尖或爆炸。
和追求利润的公司建造一个新神一样可怕的是，另一个追求利润的公司将任何它想要的软件强加给全球人口的集体喉咙。苹果曾经的目标是“推进人类”，谷歌的非官方座右铭——直到它显然变得荒谬——是“不作恶”，Facebook 的使命是“将世界更紧密地联系在一起”。现在它们是世界上最有价值的公司之一，分别主导着智能手机、在线广告和社交媒体。它们被指控有可怕的劳动条件，引发了一代人的心理危机，吸干了互联网的活力，并在全球范围内促成了种族灭绝。这三家公司都面临着联邦反垄断诉讼，而且都有前员工在所谓的或担心的报复之后，站出来反对不道德的商业行为。末世论让位于第三方托管。
也许最著名的这些举报人是 Frances Haugen，她在 2021 年发布了数千份文件，揭示了 Facebook 意识到并忽视了它在世界各地破坏民主的方式。代表她的律师现在正在代表“警告权”签署人。幸运的是，他们的信不像 Haugen 的那样的复查，更像是对硅谷可能造成的更多混乱的早期诊断。
www.theatlantic.com
作者：Matteo Wong
2024年6月5日
OpenAI 似乎正处于一场长达数月的内部反抗之中。最新的爆发点出现在昨天，当时一群11名现任和前任员工——另外还有两家公司的两名员工——发表了一封公开信，宣称领先的 AI 公司不可信任。“这些公司的行为真的不符合公共利益，”威廉·桑德斯，一位签署人，像信上的其他几位一样，今年早些时候离开了 OpenAI，他告诉我。
这封信讲述了一个关于企业贪婪的熟悉故事：AI 可能是危险的，但科技公司为了快速推出产品而牺牲了谨慎的安全程序；政府监管跟不上，员工害怕发声。就在上个月，《Vox》报道了 OpenAI 员工离开公司时被要求签署的保密和不诋毁协议。
违规者冒着失去公司所有已归属股权的风险，这可能是数百万美元——为员工即使在重大社会问题上保持沉默提供了明确的理由。
（OpenAI 的一位发言人在一封电子邮件声明中告诉我，所有前员工已经从不诋毁条款中释放出来，并且这种义务已经从未来的离职文件中删除。）
“人工智能公司有很强的财务动机来避免有效的监管，”信中指出，“我们不认为定制的公司治理结构足以改变这一点。”为了解决这个问题，现任和前任员工要求高级 AI 公司建立一个“警告权”，以便从内部警告他们的产品，并承诺进行实质性的、独立的监管。
“警告权”的信只是一系列高调事件中的最新一个，暗示 OpenAI 已经不再致力于其创始目标——构建“造福全人类”的 AI——而是屈服于投资者。OpenAI 领导者谈论可能的 AI 末日（或者相反，乌托邦）的说法已经退居背景。相反，该公司正在推出企业软件，依赖微软的130亿美元投资，据报道与苹果达成了一项巨大的交易，并首次推出消费产品。在这样做的过程中，它引发了其他争议：一个生成式 AI 助手的声音惊人地像斯嘉丽·约翰逊，尽管她一再拒绝允许公司使用她的声音。（你可以在这里自己听；公司否认复制了约翰逊的声音，并暂停了那个特定的机器人。）至少有一位 OpenAI 的前研究员、至少一位前董事会成员和国家监管机构已经指控该公司或正在调查该公司，因为该公司为了利润而牺牲安全，报复员工，并扼杀竞争。换句话说，OpenAI 已经成为一个成熟的科技巨头——一个与 Facebook 相匹配的下一代 Facebook（《大西洋月刊》最近与 OpenAI 建立了企业合作伙伴关系，与本组织的编辑部门无关）。
OpenAI 内部裂痕的最初迹象可以追溯到三年前，当时一群高级员工离开去成立了一个名为 Anthropic 的竞争对手初创公司，该公司声称更加注重安全地构建其技术。从那时起，一些外部学者、评论家和监管机构批评 OpenAI 发布的 AI 产品充满了众所周知的风险，例如误导性或仇恨性的输出。内部不满真正始于去年11月，当时山姆·奥特曼被免去了 CEO 的职务，据说是因为担心他将公司引向商业化，远离其声明的“对人类的首要受托责任”。（由 OpenAI 委托的 WilmerHale 律师事务所进行的审查后来发现，这次罢免与“产品安全或安全”无关，根据 OpenAI 对调查的总结，尽管报告本身不是公开的。）由微软领头的投资者向 OpenAI 施压，要求恢复奥特曼的职位，它在几天内就做到了，同时含糊地承诺要更加负责。
然后，上个月，公司解散了负责安全研究的内部团队，即所谓的“超级对齐团队”。该团队的一些最杰出成员公开辞职，包括其负责人 Jan Leike，他在 X 上发帖说“在过去的几年里，安全文化和程序已经让位给了闪亮的产品。”《财富》报道称，OpenAI 并没有提供它最初公开承诺的安全研究所需的资源。
桑德斯，也在超对齐工作，说他在“几个月前就失去了希望，比 Jan 早一些。”埃隆·马斯克——2015年是 OpenAI 的创始投资者之一，去年成立了自己的竞争对手公司 xAI——在3月份起诉 OpenAI 违反了一项据称的合同义务，即为了快速商业化，而牺牲了为人类利益构建 AI 的承诺。
与此同时，OpenAI 不断发布新产品，并宣布与一些最大的公司达成新交易。
“警告权”信的签署人中有两人不是 OpenAI 的前员工，这尤其说明问题：这家公司比其他任何公司都更能为生成式 AI 时代定下基调。但当然还有其他公司。
谷歌和 Anthropic，其现任和前任员工也签署了昨天的信，近几个月推出了一系列面向消费者和企业的 AI 工具，包括在谷歌搜索上灾难性的 AI 推出。（该公司似乎至少暂时正在从许多查询中移除 AI 概述。）
OpenAI 的一位发言人告诉我，公司采取了一种“科学方法来解决风险”，并引用了几个例子，说明 OpenAI 已经推迟了产品发布，直到适当的安全措施到位。该公司此前曾指出，筹集资金是获取构建先进 AI 所需的大量资源的唯一途径，它认为这可能会带来一个更好的未来。但桑德斯告诉我，“没有人应该相信公司说他们已经正确完成了这个过程。”
Leike、Musk、Saunders 和其他几十位内部人士担心的威胁大多是推测性的。也许有一天，自我复制的、自主的聊天机器人会设计生物武器、发动核攻击或破坏关键基础设施。
科技高管们自己过去曾警告过这些“存在”风险；奥特曼本人曾将公司的工作比作发明核武器。
前员工可能对如何处理这些危险存在分歧，但他们倾向于同意公司正在构建类似神的计算机程序——批评 OpenAI 处理存在性危害的方法的人不相信公司有能力自我监管，但他们确实相信奥特曼作为世界救世主或毁灭者的神话。
AI 的不那么幻想但已经存在的危险——其煽动虚假信息和偏见、垄断互联网和夺走工作的能力——往往在这些讨论中消失。
但“警告权”信并不是指责生成式 AI 的具体问题，而是指责它当前开发过程的整体：少数公司“在法律出台之前就超越了法律，因为它们正在比监管通过的速度更快地开发[技术]”，桑德斯告诉我。
签署人认为，员工将不得不填补空白，因此需要“无论你的担忧是什么，都有[警告的]权利”，他说。换句话说，问题在于 OpenAI 不是在建设未来，而是采用了一个经过验证的硅谷模式。如果今天的科技公司发明了电，我们将不得不支付过高的价格，不断升级电线和插座，它们超级时尚，输出巨大的电压，偶尔短路，烧焦我们的指尖或爆炸。
和追求利润的公司建造一个新神一样可怕的是，另一个追求利润的公司将任何它想要的软件强加给全球人口的集体喉咙。苹果曾经的目标是“推进人类”，谷歌的非官方座右铭——直到它显然变得荒谬——是“不作恶”，Facebook 的使命是“将世界更紧密地联系在一起”。现在它们是世界上最有价值的公司之一，分别主导着智能手机、在线广告和社交媒体。它们被指控有可怕的劳动条件，引发了一代人的心理危机，吸干了互联网的活力，并在全球范围内促成了种族灭绝。这三家公司都面临着联邦反垄断诉讼，而且都有前员工在所谓的或担心的报复之后，站出来反对不道德的商业行为。末世论让位于第三方托管。
也许最著名的这些举报人是 Frances Haugen，她在 2021 年发布了数千份文件，揭示了 Facebook 意识到并忽视了它在世界各地破坏民主的方式。代表她的律师现在正在代表“警告权”签署人。幸运的是，他们的信不像 Haugen 的那样的复查，更像是对硅谷可能造成的更多混乱的早期诊断。
www.theatlantic.com
8 00
来自圈子
AI探索站
101430人已经加入