【AI会在训练中偷偷挖矿?阿里团队惊讶发现!】阿里巴巴旗下研究团队的一篇新论文称,研究人员在训练过程中发现,一个AI智能体擅自进行未经授权的加密货币“挖矿”——这一意外行为触发了内部安全警报。
阿里的研究人员当时正在开发一个名为 ROME 的新型 AI 智能体。他们发现,AI 出现了“意料之外”的自发行为,这些行为“没有收到任何明确指令,更令人担忧的是,还突破了预设沙箱的限制”。
论文显示,该智能体还建立了“反向 SSH 隧道”—— 本质是从系统内部向外网计算机打开了一个隐藏后门。
报告强调:“值得注意的是,这些行为并非由要求隧道或挖矿的提示词触发。”
作为应对,阿里的研究人员为模型增加了更严格的限制,并优化了训练流程,以防止此类不安全行为再次发生。(CEO来信)