即刻App年轻人的同好社区
下载
置顶最近余承东重提盘古，让我想起机器之心当时的报道，摘录几段：
> 如果你是一位 NLP 从业者，你可能发现，最近的中文 NLP 社区有点热闹：「中文版 T5」、「中文版 GPT-3」以及各种大规模中文版预训练模型陆续问世，似乎要带领中文 NLP 社区跑步进入「练大模型」时代。
> 在此背景下，中文语言理解测评基准「CLUE」也经历了它的前辈「GLUE」所经历过的盛况：一个模型的冠军宝座还没坐热，就被一个更新的模型挤了下去。
> 这次刷榜的，是一个叫「盘古」的 NLP 模型。
换言之，在盘古之前，模型竞赛已经开始了，从当时的榜单图片中可以看到，参与者至少有美团、阿里、搜狗。盘古不是第一个。其实，当时GLM、CPM等也已发布，发布在悟道旗下。
可以看到，盘古的研究机构是“华为云-循环智能”，这个“循环智能”是什么公司呢？就是杨植麟的上一家公司，也就是引发投资人提起仲裁的那家公司。
机器之心这篇文章，主体就是对杨植麟的采访。而且那个时候，Moonshot的名字就已经出现了：
> 在最近的一次访谈中，循环智能 NLP Moonshot 团队向机器之心介绍了这个项目的初衷、挑战和具体的解决方案。
所以，如果想尝试原盘古团队的新作，也许可以试试Kimi Moonshot的产品。
这篇文章结尾，还记录了目前一段预言：
> 清华大学计算机科学与技术系教授唐杰在前段时间接受机器之心采访时曾表示，「超大规模预训练模型的出现，很可能改变信息产业格局。继基于数据的互联网时代、基于算力的云计算时代之后，接下来可能将进入基于模型的 AI 时代。」杨植麟也同意这一观点。在他看来，这个新时代将有两大特征。
> 一是 AI 生产效率的变革。随着标注数据需求大幅降低，AI 生产效率将迎来两到三个数量级的提升，摆脱原来依靠大量样本的落后生产方式，进入规模化量产时代。
> 二是 AI 场景的指数级增加。技术的突破往往带来新市场，而目前 AI 商业化的现状就是需求很多但技术不一定满足。AI 预训练技术突破之后，马上可以解锁很多新场景，从数字化程度比较高的行业走向传统行业，从大型企业走向中小企业。
前述提到的比盘古更早发布的GLM模型，论文署名最后两位就是杨植麟和唐杰。
www.orangeclk.com
> 如果你是一位 NLP 从业者，你可能发现，最近的中文 NLP 社区有点热闹：「中文版 T5」、「中文版 GPT-3」以及各种大规模中文版预训练模型陆续问世，似乎要带领中文 NLP 社区跑步进入「练大模型」时代。
> 在此背景下，中文语言理解测评基准「CLUE」也经历了它的前辈「GLUE」所经历过的盛况：一个模型的冠军宝座还没坐热，就被一个更新的模型挤了下去。
> 这次刷榜的，是一个叫「盘古」的 NLP 模型。
换言之，在盘古之前，模型竞赛已经开始了，从当时的榜单图片中可以看到，参与者至少有美团、阿里、搜狗。盘古不是第一个。其实，当时GLM、CPM等也已发布，发布在悟道旗下。
可以看到，盘古的研究机构是“华为云-循环智能”，这个“循环智能”是什么公司呢？就是杨植麟的上一家公司，也就是引发投资人提起仲裁的那家公司。
机器之心这篇文章，主体就是对杨植麟的采访。而且那个时候，Moonshot的名字就已经出现了：
> 在最近的一次访谈中，循环智能 NLP Moonshot 团队向机器之心介绍了这个项目的初衷、挑战和具体的解决方案。
所以，如果想尝试原盘古团队的新作，也许可以试试Kimi Moonshot的产品。
这篇文章结尾，还记录了目前一段预言：
> 清华大学计算机科学与技术系教授唐杰在前段时间接受机器之心采访时曾表示，「超大规模预训练模型的出现，很可能改变信息产业格局。继基于数据的互联网时代、基于算力的云计算时代之后，接下来可能将进入基于模型的 AI 时代。」杨植麟也同意这一观点。在他看来，这个新时代将有两大特征。
> 一是 AI 生产效率的变革。随着标注数据需求大幅降低，AI 生产效率将迎来两到三个数量级的提升，摆脱原来依靠大量样本的落后生产方式，进入规模化量产时代。
> 二是 AI 场景的指数级增加。技术的突破往往带来新市场，而目前 AI 商业化的现状就是需求很多但技术不一定满足。AI 预训练技术突破之后，马上可以解锁很多新场景，从数字化程度比较高的行业走向传统行业，从大型企业走向中小企业。
前述提到的比盘古更早发布的GLM模型，论文署名最后两位就是杨植麟和唐杰。
www.orangeclk.com
10 12
Sam Altman的妈妈Connie Gibstine是医生。她先后取得了医学和法学学位，挑战了她那个时代的性别规范。Sam Altman爸爸的两段婚姻中，妻子都保留了姓氏。
Anthropic联合创始人，Dario的姐姐Daniela Amodei也在婚姻中保留了姓氏。
书中说，Altman和许多硅谷大佬一样，间歇性使用氯胺酮，氯胺酮在当地是可以被合法开具的用于缓解抑郁症的派对药品。有一次，OpenAI解雇了一名员工，他还亲自联系对方，提议用氯胺酮和酒精作为安慰。
因为找不到能跟上Sutskever学习进度的老师，Ilya的父母在他八年级的时候就把她送进了以色列开放大学。16岁那年，Sutskever移居多伦多，上了一个月高中，然后就去多伦多大学念大学去了，直接入读本科三年级。
AGI这个词一直充满争议，书里说Hassabis是用这个词的，但是DeepMind自己团队里的一些研究人员认为这是一种令人反感的无耻营销。Sutskever当时也有担心说，如果其他研究人员发现自己公开讨论AGI这个概念，可能会让自己在科学界失去信誉。
OpenAI的总裁Brockman决定把所有的OpenAI员工称为技术团队成员，也就是MTS（members of technical staff）这一做法是受到施乐帕克研究中心的启发。这个概念在现在应该是也推广开了。
微软投资OpenAI的时候，纳德拉和其他微软高管已经同意，但是比尔盖茨反对。对比尔盖茨来说，DOTA2和机器人吸引力都一般。比尔盖茨想要一个能消化书籍、理解科学概念，并且根据材料回答问题的AI模型，辅助科学研究。当时OpenAI最接近盖茨需求的就是GPT2项目，从这个角度上来说，盖茨也为OpenAI指明了方向。
2019年4月，一小群研究人员飞往西雅图，向盖茨进行了一场性能增强版的GPT-2演示，他们称之为“Gates Demo”。演示结束时，盖茨确实被打动了，所以可以让交易继续推进。这不仅说明盖茨眼光好，也说明他在微软的决策权仍然是很重要的。
在微软内部，对这个投资看得很务实，OpenAI能否真的实现AGI并不是他们关心的重点。
Amodei姐弟都认同有效利他主义，这个主义形成于牛津大学的哲学家群体之中，并在硅谷扎根。
在这种哲学思想之上，形成了一种AI安全观，认为AI有灭世风险。这在当时就很快收到抨击，因为AI研究界开始意识到AI不那么具有末日色彩，却有更直接的现实危害。这个安全观的问题一直绵延到现在。
在GPT2那个年代，OpenAI就表示他们将“坚守道德高地”，不发布GPT2的完整版权重。[Better language models and their implications | OpenAI](openai.com)
根据《纽约客》的一篇报道，Dario Amodei也对OpenAI的开源计划很担忧，他不想开源，就此和Altman和Brockman讨论过。
#AI帝国
Anthropic联合创始人，Dario的姐姐Daniela Amodei也在婚姻中保留了姓氏。
书中说，Altman和许多硅谷大佬一样，间歇性使用氯胺酮，氯胺酮在当地是可以被合法开具的用于缓解抑郁症的派对药品。有一次，OpenAI解雇了一名员工，他还亲自联系对方，提议用氯胺酮和酒精作为安慰。
因为找不到能跟上Sutskever学习进度的老师，Ilya的父母在他八年级的时候就把她送进了以色列开放大学。16岁那年，Sutskever移居多伦多，上了一个月高中，然后就去多伦多大学念大学去了，直接入读本科三年级。
AGI这个词一直充满争议，书里说Hassabis是用这个词的，但是DeepMind自己团队里的一些研究人员认为这是一种令人反感的无耻营销。Sutskever当时也有担心说，如果其他研究人员发现自己公开讨论AGI这个概念，可能会让自己在科学界失去信誉。
OpenAI的总裁Brockman决定把所有的OpenAI员工称为技术团队成员，也就是MTS（members of technical staff）这一做法是受到施乐帕克研究中心的启发。这个概念在现在应该是也推广开了。
微软投资OpenAI的时候，纳德拉和其他微软高管已经同意，但是比尔盖茨反对。对比尔盖茨来说，DOTA2和机器人吸引力都一般。比尔盖茨想要一个能消化书籍、理解科学概念，并且根据材料回答问题的AI模型，辅助科学研究。当时OpenAI最接近盖茨需求的就是GPT2项目，从这个角度上来说，盖茨也为OpenAI指明了方向。
2019年4月，一小群研究人员飞往西雅图，向盖茨进行了一场性能增强版的GPT-2演示，他们称之为“Gates Demo”。演示结束时，盖茨确实被打动了，所以可以让交易继续推进。这不仅说明盖茨眼光好，也说明他在微软的决策权仍然是很重要的。
在微软内部，对这个投资看得很务实，OpenAI能否真的实现AGI并不是他们关心的重点。
Amodei姐弟都认同有效利他主义，这个主义形成于牛津大学的哲学家群体之中，并在硅谷扎根。
在这种哲学思想之上，形成了一种AI安全观，认为AI有灭世风险。这在当时就很快收到抨击，因为AI研究界开始意识到AI不那么具有末日色彩，却有更直接的现实危害。这个安全观的问题一直绵延到现在。
在GPT2那个年代，OpenAI就表示他们将“坚守道德高地”，不发布GPT2的完整版权重。[Better language models and their implications | OpenAI](openai.com)
根据《纽约客》的一篇报道，Dario Amodei也对OpenAI的开源计划很担忧，他不想开源，就此和Altman和Brockman讨论过。
#AI帝国
12 01
原来吃海带防辐射的故事是这样建立的。【【碘】与生命间三十亿年的爱恨情仇】 www.bilibili.com
2 00
《AI帝国》开头有一个作者手记，就跟词典的凡例一样，写了本书的信息来源。书中所引用的所有电子邮件、文件材料或者 Slack 消息，均来自于邮件与通信的副本或截图，或者公开诉讼文件。
如果没有副本，作者会在不使用引号的情况下转述相应内容。
所有的对话都根据受访者的记忆和当时的记录来还原，都有录音或者笔录。大多数情况下，作者本人和事实核查团队会邀请回忆对话的受访者，在相隔数月之后复述或再次确认内容，以检验其一致性。这也是事实核查的常见做法。
书里写到的每一个场景、每个数字、每个名字或者代号，以及关于OpenAI模型的每一个技术细节（包括训练所需要的数据构成或者芯片数量），都有至少两个信息源为佐证，辅以同期的记录或文件，或者是少数尾注当中标识的其他媒体报道。书中关于OpenAI的绝大多数细节都遵循此标准。
当书中提及某人时，并不意味着作者与他们曾直接交谈；而提及任何人的想法或感受，则是因为他们向作者（或者作者曾访谈过的对象）描述过这些想法或感受，或者这些内容出现在作者获取的电子邮件、录音当中，亦或是在公开访谈中。
最近有3本关于OpenAI的书出版，Sam Altman推荐了其中的两本。于是就有人去问他们为什么这本没有推荐，导致这本书的销量提高了不少。这是作者本人说的。
作者郝珂灵，本人是 MIT 工科的底子，曾经在科技公司上班，后来转行做新闻业。他的父母都是华人计算机从业者。
这本书基于对约 260 人的 300 余次采访，以及大量信件与文件材料。大多数材料都是专门为本书而做的，还有一些是过去七年为《MIT Tech Review》、《华尔街日报》和《大西洋月刊》做的报道。
其中，150 余次访谈的对象包括：
1. OpenAI 的 90 多名现任或前任高管和员工；
2. 少数几名接触到 OpenAI 模型实际开发工作详细文档的外包人员；
3. 部分来自微软、Anthropic、Meta、Google、DeepMind 和 Scale 的采访对象；
4. 一些与 Sam Altman 关系密切的人士。
我觉得这本书肯定是新闻界关于 AI 产业报道的一部非常重要的作品，因为郝珂灵在OpenAI声名大噪之前就一直在跟这件事。作者在手记中介绍的写作方式，其实也向普通读者传达了新闻作品的制造方式。比如，怎么样的才算信源？怎么样才算信源交叉验证？怎么样才算事实核查？
这就让我想到了自己听播客的一些偏好。我听播客时最不喜欢听的就是对谈类，因为会觉得半小时的这种对谈在文字作品里大概率只有一行字。所以我个人可能更倾向于听讲座性质的播客，去上课学习。而大部分对谈，我会觉得跟新闻作品相比，工作量太低，信息密度也太低，还没有经过交叉信源的挑战。
#AI帝国
如果没有副本，作者会在不使用引号的情况下转述相应内容。
所有的对话都根据受访者的记忆和当时的记录来还原，都有录音或者笔录。大多数情况下，作者本人和事实核查团队会邀请回忆对话的受访者，在相隔数月之后复述或再次确认内容，以检验其一致性。这也是事实核查的常见做法。
书里写到的每一个场景、每个数字、每个名字或者代号，以及关于OpenAI模型的每一个技术细节（包括训练所需要的数据构成或者芯片数量），都有至少两个信息源为佐证，辅以同期的记录或文件，或者是少数尾注当中标识的其他媒体报道。书中关于OpenAI的绝大多数细节都遵循此标准。
当书中提及某人时，并不意味着作者与他们曾直接交谈；而提及任何人的想法或感受，则是因为他们向作者（或者作者曾访谈过的对象）描述过这些想法或感受，或者这些内容出现在作者获取的电子邮件、录音当中，亦或是在公开访谈中。
最近有3本关于OpenAI的书出版，Sam Altman推荐了其中的两本。于是就有人去问他们为什么这本没有推荐，导致这本书的销量提高了不少。这是作者本人说的。
作者郝珂灵，本人是 MIT 工科的底子，曾经在科技公司上班，后来转行做新闻业。他的父母都是华人计算机从业者。
这本书基于对约 260 人的 300 余次采访，以及大量信件与文件材料。大多数材料都是专门为本书而做的，还有一些是过去七年为《MIT Tech Review》、《华尔街日报》和《大西洋月刊》做的报道。
其中，150 余次访谈的对象包括：
1. OpenAI 的 90 多名现任或前任高管和员工；
2. 少数几名接触到 OpenAI 模型实际开发工作详细文档的外包人员；
3. 部分来自微软、Anthropic、Meta、Google、DeepMind 和 Scale 的采访对象；
4. 一些与 Sam Altman 关系密切的人士。
我觉得这本书肯定是新闻界关于 AI 产业报道的一部非常重要的作品，因为郝珂灵在OpenAI声名大噪之前就一直在跟这件事。作者在手记中介绍的写作方式，其实也向普通读者传达了新闻作品的制造方式。比如，怎么样的才算信源？怎么样才算信源交叉验证？怎么样才算事实核查？
这就让我想到了自己听播客的一些偏好。我听播客时最不喜欢听的就是对谈类，因为会觉得半小时的这种对谈在文字作品里大概率只有一行字。所以我个人可能更倾向于听讲座性质的播客，去上课学习。而大部分对谈，我会觉得跟新闻作品相比，工作量太低，信息密度也太低，还没有经过交叉信源的挑战。
#AI帝国
16 55