即刻App年轻人的同好社区
下载
试试best-effort-json-parser 👉www.mikeborozdin.com
然后好奇屋: 发现一个GPT4和opus都搞不定的问题👇 解析streaming json 图一是很常见的json mode获取的流式输出，一般最后一个字段不全导致json load失败，但前面的内容其实已经可以获取了。为了加速，可以按情况流式解析json。 给gpt4和opus尝试了简单prompt/仔细修改code bugs/我自己分类给了examples之后，它们都还是不对。用re match也好，用分类也好都不会…如图3，还是错的。 挺困惑，这明明是很简单的算法，估计是对字符串理解不深刻。 最后我自己简单分了几个类别手动解决了问题。 但有没有高级prompt专家看看为啥？
0 00
Rabbit R1源码泄漏，你以为的AI Agent，其实是Playwright 脚本，指路👉 news.ycombinator.com
3 12
符尧大佬的新文章，解释了为什么Llama 3终结了第一阶段规模游戏（Game of Scale）
💡 主要观点
1. 由于大多数简单的 Web 文本（Common Crawl、Github、Arxiv 等）现已用完，文本数据的扩展可能会达到上限。
2. 当然，还会有新的文本数据来源，比如更广泛地搜索互联网、扫描图书馆藏书以及合成数据。但要再增加一个数量级是相当具有挑战性的——更有可能的是，它们只是在当前数量级内增量。
3. 规模游戏的下一篇章从多模态，特别是统一视频语言生成模型开始，因为只有视频数据才能带来数量级的增长。
4. 然而，坏消息是，视频数据似乎无法提高模型的推理能力——回想一下，推理是标志着强大模型的第一关键能力。
5. 但好消息是，视频数据增强了模型与现实世界的联系，并展现出成为神经世界模型的强大潜力（而不是像塞尔达传说那样的硬编码物理引擎），这为从模拟的物理反馈中学习提供了可能。
6. 从 X 个反馈中扩展强化学习似乎是继续增加模型推理能力最有前景的方向，这里的 X 代表人类、AI 和环境的反馈。
7. 就像 AlphaGo Zero 在围棋上超越人类水平一样，自我对弈和与环境互动可能是超人类生成模型（super-human generative models）的方向。使模型实时地从反馈中进行迭代学习（而不是单次离线优化）可能导致不断增强的推理能力。
8. 规模游戏的第一篇章集中在扩展文本数据上，在 GPT-4 达到顶峰，并以 Llama 3 结束。该游戏的第二篇章将是统一的视频-语言生成建模和从 X 个反馈中进行迭代强化学习。
详细可读原文👇
💡 主要观点
1. 由于大多数简单的 Web 文本（Common Crawl、Github、Arxiv 等）现已用完，文本数据的扩展可能会达到上限。
2. 当然，还会有新的文本数据来源，比如更广泛地搜索互联网、扫描图书馆藏书以及合成数据。但要再增加一个数量级是相当具有挑战性的——更有可能的是，它们只是在当前数量级内增量。
3. 规模游戏的下一篇章从多模态，特别是统一视频语言生成模型开始，因为只有视频数据才能带来数量级的增长。
4. 然而，坏消息是，视频数据似乎无法提高模型的推理能力——回想一下，推理是标志着强大模型的第一关键能力。
5. 但好消息是，视频数据增强了模型与现实世界的联系，并展现出成为神经世界模型的强大潜力（而不是像塞尔达传说那样的硬编码物理引擎），这为从模拟的物理反馈中学习提供了可能。
6. 从 X 个反馈中扩展强化学习似乎是继续增加模型推理能力最有前景的方向，这里的 X 代表人类、AI 和环境的反馈。
7. 就像 AlphaGo Zero 在围棋上超越人类水平一样，自我对弈和与环境互动可能是超人类生成模型（super-human generative models）的方向。使模型实时地从反馈中进行迭代学习（而不是单次离线优化）可能导致不断增强的推理能力。
8. 规模游戏的第一篇章集中在扩展文本数据上，在 GPT-4 达到顶峰，并以 Llama 3 结束。该游戏的第二篇章将是统一的视频-语言生成建模和从 X 个反馈中进行迭代强化学习。
详细可读原文👇
Llama 3 开启规模游戏的下一篇章
7 02
劳动光荣，技能宝贵，创造伟大
白易然: 如果清北剑桥最后也只是进大厂当个螺丝钉 那么让孩子奋斗读书考大学的意义是什么？
0 00
这其实不是啥信仰不信仰问题，就是技术发展的正常现象（见Gartner的Hype Cycle），坚持的人一直在牌桌上，可能从word2vec时期就进来了。技术更新只是个起点，要想带来大变化，得把技术、产品和商业模式三者融合起来。只有商业模式跟着变，才算真正成功。技术落地时，得细致考虑各种参数，还得搞定不同模型之间的配合，形成一套完整的解决方案。无论是面向消费者的ToC产品还是面向企业的ToB产品，都得根据实际情况选择合适的模型规模，有时候甚至可以不用大模型（传统算法够用了）。大模型在某些方面确实解决了老问题，但也有地方效果不佳，甚至让问题更糟。它在推理和创造性任务上提升了不少效率，但可控性方面进步不大，而且算力成本还增加了。一旦深入探索大模型，就会发现错误率虽然降低，但只要还有那么几个百分点的错误存在，就还是挺难控制的。这种不可控性可能导致一些低级错误，企业场景完全不敢用，有时候你觉得它聪明得不得了，总结得很到位；但转眼间，它又可能做出些让人哭笑不得的蠢事，完全出乎意料。
陈不撕: 有没有对 AI 技术的信仰比对产品本身更重的朋友。 可以聊一聊你的判断，有不错的机会让我推荐人。 这种叫什么，技术产品经理？大模型产品经理？
2 00
《设计机器学习系统》的作者Chip Huyen分析了845个最热门的开源AI项目（github上带有gpt、llm 和generative ai等关键词，至少有 500 个star，总共896 个项目，其中 51 个是教程和mrkdown项目，剔除掉后最后剩845个），一些比较有意思的结论：
1⃣️ 2023 年，增幅最大的是应用层和应用开发工具层，基础架构层略有增长，但与其他层的增长水平相差甚远
2⃣️ 项目数在2023 年 9 月趋于平缓，好出成果的项目已经做得差不多了，大家对生成式AI的追捧已经趋于理性和务实
3⃣️ 在 594 个 GitHub 账户上托管了 845 个项目，其中前20 个账户每个至少有 4 个项目，这20个账户总共托管了 195 个项目，占列表上所有仓库的 23%，前20名账户中只有一个是个人账户lucidrains（Phil Wang）
4⃣️ 超过20,000名开发者为这845个仓库做出了贡献，总共提交了近100万次！其中，最活跃的50名开发者共提交了超过100,000次
5⃣️ 前20的账户中，有6个中国的，分别是清华大学的知识工程组（KEG）和数据挖掘组（THUDM）、上海人工智能实验室的通用视觉团队 OpenGVLab、清华大学 ModelBest 和 NLP 组成立的大模型基地开放实验室 OpenBMB、上海人工智能实验室的 InternLM、香港中文大学的 OpenMMLab、阿里巴巴的人工智能实验室 QwenLM
更多详情可自行阅读原文👇
1⃣️ 2023 年，增幅最大的是应用层和应用开发工具层，基础架构层略有增长，但与其他层的增长水平相差甚远
2⃣️ 项目数在2023 年 9 月趋于平缓，好出成果的项目已经做得差不多了，大家对生成式AI的追捧已经趋于理性和务实
3⃣️ 在 594 个 GitHub 账户上托管了 845 个项目，其中前20 个账户每个至少有 4 个项目，这20个账户总共托管了 195 个项目，占列表上所有仓库的 23%，前20名账户中只有一个是个人账户lucidrains（Phil Wang）
4⃣️ 超过20,000名开发者为这845个仓库做出了贡献，总共提交了近100万次！其中，最活跃的50名开发者共提交了超过100,000次
5⃣️ 前20的账户中，有6个中国的，分别是清华大学的知识工程组（KEG）和数据挖掘组（THUDM）、上海人工智能实验室的通用视觉团队 OpenGVLab、清华大学 ModelBest 和 NLP 组成立的大模型基地开放实验室 OpenBMB、上海人工智能实验室的 InternLM、香港中文大学的 OpenMMLab、阿里巴巴的人工智能实验室 QwenLM
更多详情可自行阅读原文👇
What I learned from looking at 900 most popular open source AI tools
23 113