Gavin_C.发表了动态：给产品经理朋友们推荐 3 个学习大模型的音视频，它们都在近一周内发布，加在一起总时长 8.2 小时，所以现在学习的话一点都不晚 相信我，认真学习完 8.2 小时你会彻底对大模型上瘾的 首先是 Andrej Karpathy 的《Deep Dive into LLMs like ChatGPT》，Andrej 是 OpenAI 的创始成员，领导了 GPT-4 的开发，同时也是 Tesla 的前 AI 总监，它从 0 到 1 拆解了 ChatGPT 的实现原理，深入浅出但又非常全面 对我最有帮助的一是系统了解了分词的原理，比如去年 o1 刚发布的时候，网友问它 “Strawberry” 这个单词中有多少个 “r”，而 GPT-o1 这个当时地表最强模型却回答说 “2 个”。很多人误以为这还是大模型的 “幻觉”，对 o1 的智力产生了质疑，背后的原因其实是没理解分词的逻辑，人类解构 Strawberry 可以细化到单个字母，而大模型的分词其实拆分为了 st, raw, berry 3 个 token，它不是像我们人类有眼睛来看 二是更底层理解了大模型的预训练，模型的响应是基于对互联网文档的回忆，频繁出现的数据更有可能被准确回忆。这段时间 DeepSeek 爆火的时候，海外有人测试问它是谁，而 DeepSeek 回答说自己是 ChatGPT，间接让很多人认为 DeepSeek 是蒸馏的 OpenAI 。了解了预训练的原理我才恍然大悟，这很有可能是因为预训练数据里 OpenAI 这个知名实体频繁出现在多个训练窗口中，导致模型回忆时候 OpenAI 以更高的概率出现了而已 Andrej Karpathy 的这个音频可以在这里听：https://crunchpod.app/details/andrej_karpathy/5c2dfd8be5df11efbfc900163e0094cd?from=expert 其次是小珺邀请潘家怡逐句讲解 DeepSeek-R1、Kimi K1.5、OpenAI o1 的论文，家怡是加州大学伯克利分校人工智能实验室在读博士生，我听的时候是电脑上同步也打开了这几篇论文，真的是酣畅淋漓，本来是计划陪家人看 《哪吒 2》的 市面上大多数技术分析更多是对于 R1 的纵向分析，而这个播客之所以推荐的原因是，它有非常全面深入的横向对比，所以也就更能清楚知道 R1 为什么好，为什么在这个节点爆了 值得注意的是，市面很少有人解读同期发布的 Kimi K1.5，我这次也是第一次读 Kimi 的论文，没想到很多地方居然跟 R1 是异曲同工的，但 Kimi 没出圈是别的原因 中间我有个比较大的启发是，Kimi-K1.5 论文里提到它们有意控制模型输出的长度，为此设置了 length penalty 这样的奖励惩罚机制，因此模型在所有的回复里都会是尽可能短的，甚至将长思维链变成了短思维链，团队的目的是认为这样的用户体验更好，输出少、思维链短能快速给 answer 而如果从产品角度来看的话，模型在 “给答案” 这件事情上和滴滴的 “派单” 有相似之处，早期司机和车型不多，加之用户主要是打出租车迁移过来的刚需人群，快是核心诉求，后期用户类型增多跨越鸿沟进入早期大众 (Early Majority)，在满足核心需求的情况下，快成了第二优先级 但看 DeepSeek 的爆发，恰恰是因为它的 “慢”，我在朋友圈做过一项调研：在用 Chatbot 类产品的时候，你大多数情况下是用慢思考的 o 系列，还是快思考的 4 系列？绝大多数人都选了前者，这个其实是因为大模型拉高了用户的阈值，对输出的质量和长度要求越来越高，“快” 并不是唯一核心诉求。所以还是老祖宗的那句话：技术永远要让位于需求，产品时时要回归场景 站在产品经理的视角来看 Kimi K1.5 的优化，我是觉得多少有些多此一举想多了，但这只是一个点，不能因为这而否定 Kimi 团队的优秀，小珺的播客可以在这里听：https://crunchpod.app/details/deepseek/ed462d42-61eb-45c3-b2c6-950097354959?from=company 最后是昨天张涛以产品经理身份做的关于 Deepseek-R1 的赏析，起手就是关于 DeepSeek 在过去 1 年的发布节奏，原来大家津津乐道的很多创新其实早在半年前甚至更长时间前就发布了。更印证了 《为什么伟大不能被计划》这本书里的观点：那些真正拿到宝的人，都是通过一步步的 “搜集踏脚石”来试错，一路踩到惊喜，而不是上来就说 AGI 张涛的分享见这里：https://m.bilibili.com/video/BV1bnNDeFELK?buvid=ZA49EEA93D2E8D134E8C9C203D9BD12CE3F9&is_story_h5=false&mid=tYnTNKGq9xlln4JjimVqSQ%3D%3D&p=1&plat_id=116&share_from=ugc&share_medium=iphone&share_plat=ios&share_session_id=3F9369BF-D03C-4086-B9CC-627852907508&share_source=COPY&share_tag=s_i&spmid=united.player-video-detail.0.0&timestamp=1739146752&unique_k=bPINFzv&up_id=53268348 以上音视频建议都在电脑上听，因为可以边听边记笔记 ，最后，附上 DeepSeek 的发展时间线，让我们感谢这个时代的每一个贡献者 ❤️ 2023年6月，DeepSeek 成立 2024年2月，发表 DeepSeek-Math，提出 GRPO 2024年5月，推出 V2，提出 MLA 和 DeepSeek-MoE 2024年11月，推出 V3，提出了 MTP 和一整套软硬一体优化方案等 2025年1月，推出 R1，提出 R1-Zero