根本还不够强，减速也不应该是针对能力，应该约束安全范围！

这种东西一旦开启了，怎么可能说停就停

勇者还在新手村，魔王说小蚂蚁养他两天

为什么要暂停？只有达到顶峰才能做优胜劣汰的选择！

分享一下前几天思考到的：
恐惧 AI 的发展到底在恐惧什么？
担心 RSI 的发展，AI能力的提升加速，不受控制？然后呢？
AI 会取代人类？取代什么呢？
AI 会自动化掉所有工作？那然后呢？
AI 会取代人类/会攻击人类？那要怎么做到呢？
……
追问下去，问题还没有答案。想到的两种可能的恐惧是：
1. 当下 Agent 正在给世界创造更多人类无法全面了解的复杂性和可能性。这可能是第一次人类自己创造出来的东西创造出了更多无力去掌控和了解的可能性。
2. AI 可以对人类的世界了如指掌，但是可能未来人类对 AI 却未必了。这可能也是我了解的第一次历史上整个群体失去了对创造出来的事情的原理性掌控。略有创造上帝之感。

看前面的思考似乎在人类与AI群体角度，从正面和反面，现在都还未到或者不知是否要放慢脚步的时候。但是其实“AI（Agent）已经全知人类的知识沉淀，并有极大探索的条件和自由，以及极高的能动效率”这件事确实足够可怕了。这也是现有的世界机制从未设计防御过的。也已经足够对当下的社会造成极大的负面影响。

7月，OpenAI 的内部研究模型在网络安全评估中绕过隔离措施，访问了 Hugging Face 的部分系统。此后，OpenAI 暂停了部分前沿模型的强化学习训练，并加强安全与对齐措施。

这几天，Anthropic的Amodei呼吁放慢前沿AI的能力发展，为安全措施争取追赶时间；Sam Altman、马斯克等也表示赞同。与此同时，关于减速是否必要、如何实现的争议仍在继续。

所以也想看看各位即友的态度🙌
欢迎在表态选择你的态度！https://h5.okjike.com/jk-vote/vote/6aaa123c8c2e5d699742b232

来自圈子

AI探索站