即刻App年轻人的同好社区
下载
在OpenAI的官网上有一栏叫Life at OpenAI的访谈，其中有一名华人工程师Lilian Weng（应用AI研究员）的采访，觉得还挺有意思的，拉下来分享一下。
持续学习的动力
1）对于AI未来的发展，最让你兴奋的是它的哪些特性？
通用人工智能（AGI）有望在大多数经济上有价值的工作中超越人类。我期待看到AGI在以下方面帮助人类社会：
- 全面自动化或大幅减少人们在重复性和非创新性任务上的工作量。换句话说，AGI应该能够极大地提高人类的生产力。
- 极大地加速新的科学突破的发现，包括但不限于通过提供额外的分析和信息来促进人类的决策过程。
- 有效、高效且安全地理解和与物理世界进行交互。
这些发展将为我们创造许多机遇和潜力，帮助解决许多现实世界中的挑战，并为人类社会带来巨大的益处。AI的前景令人兴奋，我们正处于一个变革的时代。
2）在OpenAI工作期间，有哪些项目让你感到非常自豪？
在最初的2.5年里，我在机器人团队从事一个雄心勃勃的项目：我们想要教会一只独立的、类人的机器手玩魔方。这是一次非常令人兴奋、具有挑战性的经历。我们通过深度强化学习、域随机化（CV领域术语）和无需真实世界训练数据的方式解决了这个挑战。更重要的是，我们作为一个团队征服了这个挑战。
从仿真和RL训练到视觉感知和硬件固件，我们紧密而协同地合作。这是一次令人惊奇的实验，在那段时间里，我经常想起史蒂夫·乔布斯的现实扭曲力场：当你对某件事如此坚信，并且不断地推动它，不知何故你能让不可能变为可能。
自2021年初以来，我开始领导应用AI研究团队。管理一个团队带来了一系列不同的挑战，并需要改变工作方式。我最引以为傲的是与应用AI相关的几个语言模型安全性项目：
- 我们设计和构建了一组评估数据和任务，以评估预训练语言模型生成令人讨厌、性暴力或暴力内容的倾向。
- 我们创建了一个详细的分类法，并建立了一个强大的分类器，可以检测不良内容以及产生的原因。
- 我们正在研究各种技术，以使模型生成不安全输出的可能性降到最低。
作为应用AI团队，我们致力于最佳方式来应用尖端的人工智能技术，如大规模预训练语言模型，我们看到它们在实际任务中的强大和有用。我们也意识到安全地应用这些技术的重要性，正如我们的规章所强调的那样。
目前的深度学习模型并不完美。它们是通过人类创造的大量数据进行训练的（例如互联网、文献等），不可避免地吸收了我们社会中长期存在的许多缺陷和偏见。例如，当问DALL·E描绘一名护士时，它只会生成女性角色；而对于教授，它只会生成白人。这个模型捕捉到了现实世界统计数据中的偏见或者我们训练数据中的偏见。
我受到激励，设计了一种缓解这种社会偏见的方法，并评估了该方法的有效性。与团队一起，我们设计了一个流程来减少此类偏见，并进行了人机参与评估。减少社会偏见并不是一个容易解决的问题，因为它涉及到我们生活的许多方面，有时很难察觉。但我很高兴DALL·E团队认真对待这个问题，并在很早的阶段采取行动。我们现在所做的只是一个开始，我们将不断取得进展。我为能在这个领域工作感到自豪，并高兴地看到我们如何一步一步地使现代人工智能更加安全和优秀。
不同主题或领域的想法常常能够激发新的创意，扩大潜在的解决方案空间。
3）在OpenAI的日常工作中，你如何将个人经验和价值观应用于工作呢？
- 我相信学习的力量，而学习永远不会太迟。保持个人博客是保持这种求知欲望的好方法，并定期了解深度学习领域的新进展。我还鼓励我的团队不断学习，无论与他们当前的项目是否相关。不同主题或领域的想法常常能够激发新的创意，扩大潜在的解决方案空间。
- 我也坚信团队合作的重要性。如果每个人都发挥自己最擅长的优势，我们将获得超过1+1>2的效果。同时，我们可能经常会遇到一些“琐碎”的工作，而我个人非常愿意承担这些任务，因为只要这是项目中最大的障碍或这项任务能够为项目带来最大的价值，就没有什么可以被视为“琐碎”或“微不足道”的。我鼓励身边的人也这样做，成为团队的一员，共同努力提高团队的生产力。
4）告诉我们关于你的博客！你为什么开始写博客？你希望它能激发什么？
- 一切都始于一套个人的学习笔记。我并不是在深度学习领域很早就加入，我自己仍然被认为是一个"新手"。最初，当我开始深入研究众多论文时，我对于不是设计一个算法来解决问题，而是训练一个模型来学习算法来解决问题的概念感到惊讶。我读得越多，就越加好奇。实际上，整理我已经阅读过的论文和我学到的新概念变得非常困难。因此，我决定开始写博客来记录和整理我的学习笔记。我也相信，学习某个知识最好的方式就是确保能够将知识正确、清晰地教给他人。写作帮助我实现这一点。
- 我并没有期望我的博客在机器学习社区中变得受欢迎，但每当我收到感谢的电子邮件或有人亲自告诉我他们通过阅读我的博客学到了很多东西时，我感到非常荣幸和感激。自2017年开始写博客至今已经将近6年了，只要我能够，我会一直坚持下去。
5）你认为人工智能可以解决我们社会最紧迫的挑战之一是什么？
- 近年来，人工智能社区取得了巨大的进展。硬件、模型架构和数据的进步使得训练庞大模型成为可能，因此我们不断看到越来越大的容量。我相信我们正朝着通往通用人工智能（AGI）的正确方向前进，但扩展性并不是唯一的关键。在我看来，目前最紧迫的挑战是对齐性（指引导人工智能系统的行为，使其符合设计者的利益和预期目标，人工智能系统的对齐十分难以实现，一个未对齐的系统可能会在某时刻发生故障，或是产生有害后果**）**。和安全性。在某种程度上，它们可能是关于可控性或可操控性的同一问题。
- 首先，即使我们已经拥有了一个非常强大的人工智能系统，如果我们不能高效地沟通我们的目标并确保模型与我们的期望保持一致，那么我们将无法创造出我们所需要的价值。当前最强大的模型是通过大量数据进行训练的，而这些数据集不可避免地捕捉到现实世界中的不完美缺陷和偏见。在这方面，不对齐的模型存在安全问题，因为它们不知道应该避免什么。
我相信我们正朝着通往通用人工智能（AGI）的正确方向前进，但扩展性并不是唯一的关键。目前最紧迫的挑战是对齐性和安全性。
6）你在 OpenAI 的职业生涯中收到的最佳建议是什么？
这并不是某个特定人给我的建议，而是基于我在OpenAI的经验。那就是要有远大的目标。我们正在创造一些新的东西，因此我们应该充满雄心壮志、勇敢并保持足够的坚持，继续努力下去。
7）你在哪里寻找灵感？
- 书籍。我通常会阅读深度学习领域以外的书籍，并从各个领域中获得灵感；例如，一个作家在50年间保持坚持的重要性，一个外科医生对细节的完美关注，以及一个企业家拥有“疯狂的想法”。
- 身边的人。我很荣幸能够与OpenAI的一大群极具才华的同事一起工作。每个人都有自己独特的闪光点、启发或值得尊敬之处，我喜欢从他们身上学习。
Lilian Weng博客链接lilianweng.github.io
持续学习的动力
1）对于AI未来的发展，最让你兴奋的是它的哪些特性？
通用人工智能（AGI）有望在大多数经济上有价值的工作中超越人类。我期待看到AGI在以下方面帮助人类社会：
- 全面自动化或大幅减少人们在重复性和非创新性任务上的工作量。换句话说，AGI应该能够极大地提高人类的生产力。
- 极大地加速新的科学突破的发现，包括但不限于通过提供额外的分析和信息来促进人类的决策过程。
- 有效、高效且安全地理解和与物理世界进行交互。
这些发展将为我们创造许多机遇和潜力，帮助解决许多现实世界中的挑战，并为人类社会带来巨大的益处。AI的前景令人兴奋，我们正处于一个变革的时代。
2）在OpenAI工作期间，有哪些项目让你感到非常自豪？
在最初的2.5年里，我在机器人团队从事一个雄心勃勃的项目：我们想要教会一只独立的、类人的机器手玩魔方。这是一次非常令人兴奋、具有挑战性的经历。我们通过深度强化学习、域随机化（CV领域术语）和无需真实世界训练数据的方式解决了这个挑战。更重要的是，我们作为一个团队征服了这个挑战。
从仿真和RL训练到视觉感知和硬件固件，我们紧密而协同地合作。这是一次令人惊奇的实验，在那段时间里，我经常想起史蒂夫·乔布斯的现实扭曲力场：当你对某件事如此坚信，并且不断地推动它，不知何故你能让不可能变为可能。
自2021年初以来，我开始领导应用AI研究团队。管理一个团队带来了一系列不同的挑战，并需要改变工作方式。我最引以为傲的是与应用AI相关的几个语言模型安全性项目：
- 我们设计和构建了一组评估数据和任务，以评估预训练语言模型生成令人讨厌、性暴力或暴力内容的倾向。
- 我们创建了一个详细的分类法，并建立了一个强大的分类器，可以检测不良内容以及产生的原因。
- 我们正在研究各种技术，以使模型生成不安全输出的可能性降到最低。
作为应用AI团队，我们致力于最佳方式来应用尖端的人工智能技术，如大规模预训练语言模型，我们看到它们在实际任务中的强大和有用。我们也意识到安全地应用这些技术的重要性，正如我们的规章所强调的那样。
目前的深度学习模型并不完美。它们是通过人类创造的大量数据进行训练的（例如互联网、文献等），不可避免地吸收了我们社会中长期存在的许多缺陷和偏见。例如，当问DALL·E描绘一名护士时，它只会生成女性角色；而对于教授，它只会生成白人。这个模型捕捉到了现实世界统计数据中的偏见或者我们训练数据中的偏见。
我受到激励，设计了一种缓解这种社会偏见的方法，并评估了该方法的有效性。与团队一起，我们设计了一个流程来减少此类偏见，并进行了人机参与评估。减少社会偏见并不是一个容易解决的问题，因为它涉及到我们生活的许多方面，有时很难察觉。但我很高兴DALL·E团队认真对待这个问题，并在很早的阶段采取行动。我们现在所做的只是一个开始，我们将不断取得进展。我为能在这个领域工作感到自豪，并高兴地看到我们如何一步一步地使现代人工智能更加安全和优秀。
不同主题或领域的想法常常能够激发新的创意，扩大潜在的解决方案空间。
3）在OpenAI的日常工作中，你如何将个人经验和价值观应用于工作呢？
- 我相信学习的力量，而学习永远不会太迟。保持个人博客是保持这种求知欲望的好方法，并定期了解深度学习领域的新进展。我还鼓励我的团队不断学习，无论与他们当前的项目是否相关。不同主题或领域的想法常常能够激发新的创意，扩大潜在的解决方案空间。
- 我也坚信团队合作的重要性。如果每个人都发挥自己最擅长的优势，我们将获得超过1+1>2的效果。同时，我们可能经常会遇到一些“琐碎”的工作，而我个人非常愿意承担这些任务，因为只要这是项目中最大的障碍或这项任务能够为项目带来最大的价值，就没有什么可以被视为“琐碎”或“微不足道”的。我鼓励身边的人也这样做，成为团队的一员，共同努力提高团队的生产力。
4）告诉我们关于你的博客！你为什么开始写博客？你希望它能激发什么？
- 一切都始于一套个人的学习笔记。我并不是在深度学习领域很早就加入，我自己仍然被认为是一个"新手"。最初，当我开始深入研究众多论文时，我对于不是设计一个算法来解决问题，而是训练一个模型来学习算法来解决问题的概念感到惊讶。我读得越多，就越加好奇。实际上，整理我已经阅读过的论文和我学到的新概念变得非常困难。因此，我决定开始写博客来记录和整理我的学习笔记。我也相信，学习某个知识最好的方式就是确保能够将知识正确、清晰地教给他人。写作帮助我实现这一点。
- 我并没有期望我的博客在机器学习社区中变得受欢迎，但每当我收到感谢的电子邮件或有人亲自告诉我他们通过阅读我的博客学到了很多东西时，我感到非常荣幸和感激。自2017年开始写博客至今已经将近6年了，只要我能够，我会一直坚持下去。
5）你认为人工智能可以解决我们社会最紧迫的挑战之一是什么？
- 近年来，人工智能社区取得了巨大的进展。硬件、模型架构和数据的进步使得训练庞大模型成为可能，因此我们不断看到越来越大的容量。我相信我们正朝着通往通用人工智能（AGI）的正确方向前进，但扩展性并不是唯一的关键。在我看来，目前最紧迫的挑战是对齐性（指引导人工智能系统的行为，使其符合设计者的利益和预期目标，人工智能系统的对齐十分难以实现，一个未对齐的系统可能会在某时刻发生故障，或是产生有害后果**）**。和安全性。在某种程度上，它们可能是关于可控性或可操控性的同一问题。
- 首先，即使我们已经拥有了一个非常强大的人工智能系统，如果我们不能高效地沟通我们的目标并确保模型与我们的期望保持一致，那么我们将无法创造出我们所需要的价值。当前最强大的模型是通过大量数据进行训练的，而这些数据集不可避免地捕捉到现实世界中的不完美缺陷和偏见。在这方面，不对齐的模型存在安全问题，因为它们不知道应该避免什么。
我相信我们正朝着通往通用人工智能（AGI）的正确方向前进，但扩展性并不是唯一的关键。目前最紧迫的挑战是对齐性和安全性。
6）你在 OpenAI 的职业生涯中收到的最佳建议是什么？
这并不是某个特定人给我的建议，而是基于我在OpenAI的经验。那就是要有远大的目标。我们正在创造一些新的东西，因此我们应该充满雄心壮志、勇敢并保持足够的坚持，继续努力下去。
7）你在哪里寻找灵感？
- 书籍。我通常会阅读深度学习领域以外的书籍，并从各个领域中获得灵感；例如，一个作家在50年间保持坚持的重要性，一个外科医生对细节的完美关注，以及一个企业家拥有“疯狂的想法”。
- 身边的人。我很荣幸能够与OpenAI的一大群极具才华的同事一起工作。每个人都有自己独特的闪光点、启发或值得尊敬之处，我喜欢从他们身上学习。
Lilian Weng博客链接lilianweng.github.io
140 1361
来自圈子
人工智能讨论组
465417人已经加入