🎭 AI 新知： Open AI 超级对齐的研究资助计划有关获奖正式公布

对齐问题（ Alignment） 对于大模型至关重要，它决定模型可解释性和 AI 伦理安全等各种核心难题。[1]

Open AI 在近日宣布快速拨款，显示出他们对可信赖的 AGI 理念的坚守。从约2700份申请中选出50个获奖者，总计拨款989.5万美元。[2]

🏆 获助者分布

大学：570万美元(22个)
研究生：360万美元(25个)
非营利组织:25万美元(1个)
个人：29.5万美元(2个)

图 3，是名为 Haoyue Bai 的博士生的获奖分享

🔬 资助的研究领域：

弱到强的泛化：520万美元(26个)
可扩展监督：100万美元(5个)
自顶向下的可解释性：190万美元(9个)
机械可解释性：120万美元(6个)
思维链的忠实度：70万美元(2个)
对抗性稳健性：65万美元(4个)
数据归因：30万美元(1个)
评估/预测：70万美元(4个)
其他：100万美元(6个)

⛰️ 感想与展望

Open AI 超级对齐负责人 Jan Leike 表示：

1. 弱到强的泛化占主导地位,这可能与我们最近发表的相关论文有关。未来，我们希望看到更多元化的研究方向和创新思路。

2. 可解释性作为一个热门话题，申请数量低于预期。我们鼓励更多研究者在这一领域深入探索，提出更多有价值的研究问题和解决方案。[3]

3. 评估和预测方面的提案较少，但这是ML领域中非常重要且常被低估的一环。我们期待看到更多研究者投入到这一方向，提升评估的科学性和有效性。

总的来说，这次拨款计划展现了对齐研究领域的巨大潜力和活力。我们相信,通过学术界和业界的共同努力，对齐技术将取得更大的突破，为构建安全、可靠、有益的人工智能系统奠定坚实基础。

不难想象这是重要的 AI 安全里程碑， 欢迎业内人士分享你们对它的看法。

📖 注释和参考：

[1] 可解释性的意义 m.okjike.com

[2] Open AI 的超级对齐 x.com

[3] Claude 这一年 m.okjike.com