即刻App年轻人的同好社区
下载
参加人工智能大会的朋友们看这里，晚上咱唠点白天不让说的真话，报名入口见图。@yusen 大佬买单。目前第一场第二场还有几个名额，尤其是期待通义的朋友，和做安全的大佬。请不要低调，马上扫码报名
4 00
OpenAI发了篇新论文讲怎么做CriticGPT的，我们团队的算法专家pat同学早上起来撸了一下，对应用有一些蛮有意思的点：
1. 整个OpenAI的思路还是Copilot。人很重要但贵，AI做累活最在行但容易编。这个不止是Agent阶段的思路，OpenAI发展到这个阶段，他也开始思考怎么将模型应用模型开发的过程中来反哺自身，所以有了这篇论文。
2. 具体的说，RLHF中需要人类对结果打标签，随着模型越来越强，生成的结果区别也越来越小，可能的错误也越来越隐秘。这个时候让人来找问题显得效率太低。因此OpenAI训练了这个Critic模型来帮人打标签，实现Copilot。（图二）
3. 实践的结果也表面，Copilot的效果比单纯人或者单纯模型输出的结果要更优，而且效率更高。（图二、图三）
4. 那单独训练一个Critic模型和直接用Prompt来调用模型做这个工作有什么区别呢？专用模型很明显输出的评价会更长、找到问题的能力会更强。而在通用模型中出现的吹毛求疵（没问题硬找问题）的毛病在专用模型中发生的也少。我们在使用模型时也总结过这个毛病，它是模型训练留下的问题。通用模型通常被训练为as helpful as possible，吹毛求疵虽然对结果没啥贡献，但是看起来更helpful。[微笑]（图四）
5. 论文中提到了使用引用的方法来对问题进行定位和解答。这个技巧其实蛮好，一方面提升了使用者的效率，能直接找到问题在哪儿，另一方面实现类似于Citation的效果，减少幻觉。（图五）
6. OpenaAI发现通过调整scalar length penalty，可以找到详尽度-瞎编度的Pareto前沿。意味着实现了Critic模型苛刻度的可控，这点对不同类型的Task的适用度有很大的帮助。（图六）
7. OpenAI因为一直在训更智能的模型，LLM反哺的需求很早就出现了，这套方法也在生产Pipeline上做了一段时间了。现在OpenAI把过程发出来了，是想表达啥？
8. "I can boost one LLM with another. You?"
1. 整个OpenAI的思路还是Copilot。人很重要但贵，AI做累活最在行但容易编。这个不止是Agent阶段的思路，OpenAI发展到这个阶段，他也开始思考怎么将模型应用模型开发的过程中来反哺自身，所以有了这篇论文。
2. 具体的说，RLHF中需要人类对结果打标签，随着模型越来越强，生成的结果区别也越来越小，可能的错误也越来越隐秘。这个时候让人来找问题显得效率太低。因此OpenAI训练了这个Critic模型来帮人打标签，实现Copilot。（图二）
3. 实践的结果也表面，Copilot的效果比单纯人或者单纯模型输出的结果要更优，而且效率更高。（图二、图三）
4. 那单独训练一个Critic模型和直接用Prompt来调用模型做这个工作有什么区别呢？专用模型很明显输出的评价会更长、找到问题的能力会更强。而在通用模型中出现的吹毛求疵（没问题硬找问题）的毛病在专用模型中发生的也少。我们在使用模型时也总结过这个毛病，它是模型训练留下的问题。通用模型通常被训练为as helpful as possible，吹毛求疵虽然对结果没啥贡献，但是看起来更helpful。[微笑]（图四）
5. 论文中提到了使用引用的方法来对问题进行定位和解答。这个技巧其实蛮好，一方面提升了使用者的效率，能直接找到问题在哪儿，另一方面实现类似于Citation的效果，减少幻觉。（图五）
6. OpenaAI发现通过调整scalar length penalty，可以找到详尽度-瞎编度的Pareto前沿。意味着实现了Critic模型苛刻度的可控，这点对不同类型的Task的适用度有很大的帮助。（图六）
7. OpenAI因为一直在训更智能的模型，LLM反哺的需求很早就出现了，这套方法也在生产Pipeline上做了一段时间了。现在OpenAI把过程发出来了，是想表达啥？
8. "I can boost one LLM with another. You?"
9 12
大模型产品负责人专访-第1期
本期人物介绍：
波形智能联合创始人兼CPO, 蛙蛙写作产品负责人万磊，连续创业者，前腾讯高级产品经理，参与过现象级软件「全民K歌」的产品打造，同时也是多个AI产品的创始人。
产品介绍：
蛙蛙写作，最智能的AI小说写作工具，月活30万且在快速增长中
小牛马：目前蛙蛙写作有哪些典型用户？
万磊：大部分是短篇小说的作者。写出来的作品会在知乎、番茄等阅读平台去投稿。年龄上，30岁以下会比较多，包括一些学生。同时也有一些自媒体创作者，使用视频脚本、直播脚本、营销文案等写作机器人来创作内容
小牛马：蛙蛙写作的产品定位是？
万磊：我们把蛙蛙写作定义成一个copilot的小说写作工具，AI是里面用来辅助作者增加创意和提效的一个工具。在产品设计上，我们与notion或者其他文本编辑+AI的创作工具有明显的区别。如果将AI生成的文字直接放在编辑器，会打扰到用户本身的创作过程。我们将页面做成写作区、功能区和AI内容区。AI生产的内容在单独分区呈现，不会侵入用户正文，用户自主选择是否插入或做二次纠正。除此之外我们把作者常用到的AI诉求转化为功能按钮，不需要频繁和AI对话，实现一些诸如单句扩写、整体润色、全文续写、心理描述、头脑风暴等功能。这些设计也是我们多次和创作者沟通得出的结论，目前也在不断优化。
小牛马：蛙蛙写作的产品工作中，最困难的点是什么？
万磊：最困难的点在于挖掘用户的写作习惯和训练AI生成的内容质量。比如网文中的「心理描写，神态描写，动作描写和正文续写」，怎么样能写的更真实，更符合作者本身的期待。需要用大量「真实作家的反馈+小说语料的训练」去优化模型，不断迭代。
比如网文领域，我们根据作者主要写哪些类型的网文，做该类型的模版训练，让作者可以直接套用某一种小说框架。同时我们会把这些作者都找过来，做专家访谈。同时，我们还会邀请作者评估每次生成的结果是否符合预期，并持续收集他们的反馈。最近我们即将上线拆书功能，上传一本小说后，可以直接拆分小说的大纲剧情和人物关系图，直接进行二创编辑，对一些做比较文学的学者也会很有帮助。
小牛马：有没有考虑从生产力工具，转型为内容平台，直接面向消费者？
万磊：考虑，目前通过工具获取的用户留存非常高，单个用户的生命周期非常长，会持续不断产生作品，我们已经累计了几十万小说内容，其中不乏非常优质的作品，我们有些用户投稿到各大阅读平台，有很多上榜的爆文。后续会先让创作者快速生成作品阅读链接，先转发到私域做尝试。
小牛马：公司目前有To B业务吗？
万磊：重心还在C端上，但也会给一些企业做定制服务。比如说智能标书、合同、销售培训AI或者企业知识库。针对长文本生成，我们比市面的其他大模型厂商还是有优势的。很多企业会看到我们的C端产品后过来找我们。
小牛马：有的团队认为在大模型时代，数据飞轮帮助agent提升效果是伪概念，是否同意？
万磊：用户反馈可以积累到垂域内部模型的训练数据。不断升级模型就是用不断积累到的最新的用户反馈去online地更新模型。这些积累下的领域数据是用来做模型微调的，通用大模型迭代的再多，还是需要在垂域上微调才能有更好的效果。而我们数据飞轮积累下来的数据就可以让这一步做的更快更好。
小牛马：公司将核心技术以论文形式发布的思考过程是？是否担心其他团队模仿？
万磊：去年发布的是比较基础版本的论文，公司内部使用的模型已经更新到第四代了，效果比第一代好很多。
小牛马：当前国内大模型厂商降费潮，对蛙蛙写作的影响是？
万磊：我们团队是自研的模型，所以API的降费潮对我们成本的影响不大。很多用户会将AI应用层产品的价格锚定在一个比较低的水平，目前我们的价格从全网看还是比较适中的。
小牛马：有人说kimi等应用目前的投放都是无效投放，你怎么看？
万磊：不太同意。现在不去做用户的获取，未来获客成本只会越来越高。用户习惯是需要时间培养的，当他在一个软件里面习惯了以后，用户的迁移成本是投放获客成本的几倍甚至几十倍。现在这个时间点是AI应用刚刚启动的时候，各家的这个产品都还是很初步的形态，你的产品如果有一些出彩的地方，应该大量投放让用户早日建立认知。
小牛马：听说你们付费和留存情况很好，这在国内大模型产品中很少见
万磊：目前我们是to c直接收会员费，滚动ROI是打正的，目前市面上各类的AI工具很多只看新用户付费，生命周期短，付费一次后新鲜劲过了就不再使用，本质还是流量生意。我们用户的长期留存非常高，这也验证了我们的产品对用户来说是非常有价值的，也坚定了我们在这条赛道深耕的决心。
小牛马：未来「人+AI」的写作质量，是否会超过最头部的专家？
万磊：我一直觉得AI写作不是要取代作家，而且辅助作家产出更多的创意，就像一个头脑灵活的小助手。我们不觉得100%的AI生成的作品比人类头部作家强。写作这个东西是人类大脑智力的核心体现，目前的模型距离超越人类顶尖水平还是有距离。我们第一步还是希望AI工具更好的帮助作者发散想象力，对一些短篇故事来说提高一下写作效率。生成很多还不错的作品，而不是马上帮莫言写出更多诺贝尔奖级别的作品，这个目前来说还难实现。未来我们会上线一些多模态小说的创作工具，可以期待一下。
本期人物介绍：
波形智能联合创始人兼CPO, 蛙蛙写作产品负责人万磊，连续创业者，前腾讯高级产品经理，参与过现象级软件「全民K歌」的产品打造，同时也是多个AI产品的创始人。
产品介绍：
蛙蛙写作，最智能的AI小说写作工具，月活30万且在快速增长中
小牛马：目前蛙蛙写作有哪些典型用户？
万磊：大部分是短篇小说的作者。写出来的作品会在知乎、番茄等阅读平台去投稿。年龄上，30岁以下会比较多，包括一些学生。同时也有一些自媒体创作者，使用视频脚本、直播脚本、营销文案等写作机器人来创作内容
小牛马：蛙蛙写作的产品定位是？
万磊：我们把蛙蛙写作定义成一个copilot的小说写作工具，AI是里面用来辅助作者增加创意和提效的一个工具。在产品设计上，我们与notion或者其他文本编辑+AI的创作工具有明显的区别。如果将AI生成的文字直接放在编辑器，会打扰到用户本身的创作过程。我们将页面做成写作区、功能区和AI内容区。AI生产的内容在单独分区呈现，不会侵入用户正文，用户自主选择是否插入或做二次纠正。除此之外我们把作者常用到的AI诉求转化为功能按钮，不需要频繁和AI对话，实现一些诸如单句扩写、整体润色、全文续写、心理描述、头脑风暴等功能。这些设计也是我们多次和创作者沟通得出的结论，目前也在不断优化。
小牛马：蛙蛙写作的产品工作中，最困难的点是什么？
万磊：最困难的点在于挖掘用户的写作习惯和训练AI生成的内容质量。比如网文中的「心理描写，神态描写，动作描写和正文续写」，怎么样能写的更真实，更符合作者本身的期待。需要用大量「真实作家的反馈+小说语料的训练」去优化模型，不断迭代。
比如网文领域，我们根据作者主要写哪些类型的网文，做该类型的模版训练，让作者可以直接套用某一种小说框架。同时我们会把这些作者都找过来，做专家访谈。同时，我们还会邀请作者评估每次生成的结果是否符合预期，并持续收集他们的反馈。最近我们即将上线拆书功能，上传一本小说后，可以直接拆分小说的大纲剧情和人物关系图，直接进行二创编辑，对一些做比较文学的学者也会很有帮助。
小牛马：有没有考虑从生产力工具，转型为内容平台，直接面向消费者？
万磊：考虑，目前通过工具获取的用户留存非常高，单个用户的生命周期非常长，会持续不断产生作品，我们已经累计了几十万小说内容，其中不乏非常优质的作品，我们有些用户投稿到各大阅读平台，有很多上榜的爆文。后续会先让创作者快速生成作品阅读链接，先转发到私域做尝试。
小牛马：公司目前有To B业务吗？
万磊：重心还在C端上，但也会给一些企业做定制服务。比如说智能标书、合同、销售培训AI或者企业知识库。针对长文本生成，我们比市面的其他大模型厂商还是有优势的。很多企业会看到我们的C端产品后过来找我们。
小牛马：有的团队认为在大模型时代，数据飞轮帮助agent提升效果是伪概念，是否同意？
万磊：用户反馈可以积累到垂域内部模型的训练数据。不断升级模型就是用不断积累到的最新的用户反馈去online地更新模型。这些积累下的领域数据是用来做模型微调的，通用大模型迭代的再多，还是需要在垂域上微调才能有更好的效果。而我们数据飞轮积累下来的数据就可以让这一步做的更快更好。
小牛马：公司将核心技术以论文形式发布的思考过程是？是否担心其他团队模仿？
万磊：去年发布的是比较基础版本的论文，公司内部使用的模型已经更新到第四代了，效果比第一代好很多。
小牛马：当前国内大模型厂商降费潮，对蛙蛙写作的影响是？
万磊：我们团队是自研的模型，所以API的降费潮对我们成本的影响不大。很多用户会将AI应用层产品的价格锚定在一个比较低的水平，目前我们的价格从全网看还是比较适中的。
小牛马：有人说kimi等应用目前的投放都是无效投放，你怎么看？
万磊：不太同意。现在不去做用户的获取，未来获客成本只会越来越高。用户习惯是需要时间培养的，当他在一个软件里面习惯了以后，用户的迁移成本是投放获客成本的几倍甚至几十倍。现在这个时间点是AI应用刚刚启动的时候，各家的这个产品都还是很初步的形态，你的产品如果有一些出彩的地方，应该大量投放让用户早日建立认知。
小牛马：听说你们付费和留存情况很好，这在国内大模型产品中很少见
万磊：目前我们是to c直接收会员费，滚动ROI是打正的，目前市面上各类的AI工具很多只看新用户付费，生命周期短，付费一次后新鲜劲过了就不再使用，本质还是流量生意。我们用户的长期留存非常高，这也验证了我们的产品对用户来说是非常有价值的，也坚定了我们在这条赛道深耕的决心。
小牛马：未来「人+AI」的写作质量，是否会超过最头部的专家？
万磊：我一直觉得AI写作不是要取代作家，而且辅助作家产出更多的创意，就像一个头脑灵活的小助手。我们不觉得100%的AI生成的作品比人类头部作家强。写作这个东西是人类大脑智力的核心体现，目前的模型距离超越人类顶尖水平还是有距离。我们第一步还是希望AI工具更好的帮助作者发散想象力，对一些短篇故事来说提高一下写作效率。生成很多还不错的作品，而不是马上帮莫言写出更多诺贝尔奖级别的作品，这个目前来说还难实现。未来我们会上线一些多模态小说的创作工具，可以期待一下。
16 07
其实这次发布会看起来就是奔向 agi 最最关键的推理能力没有看到提升，我估计要等到gpt 5 。但是其他一大堆应用层曾经想做的雕花的事情。Open AI一下全给做了，并且做的很好。这个怎么说呢？你要说不符合预期，低于预期也说得过去，毕竟人工智能的上限突破还是要靠推理，但你要说发布会的效果怎么样，那他把这些花活揉到一起，做个全能的对话机器人，看起来还挺有意思，只能说又香又臭吧
6 10
