即刻App年轻人的同好社区
下载
App内打开
迷走神经神走迷
404关注255被关注0夸夸
Tech Investor @ 互联网
关注AI，机器人
v.x日常闲聊：hey-vince
迷走神经神走迷
16天前

小盖fun: 真的，Google DeepMind 的 CEO Demis Hassabis 每一期访谈我觉得值得都花时间看看。这哥们讲东西很实在，而且通俗易懂。 早上边跑步边听完了他和 YC CEO Garry Tan 的最新一期播客。 刚刚把笔记写完，也给大家分享下。 多说一句，好多人问我这种笔记是不是 AI 写的。我说下自己的流程。 我会先完整听完播客，然后用语音输入法把感触尽量充分地讲出来，再让 AI 帮着整理初稿，最后自己逐字修改优化。 如果全部交给 AI 做总结，那等于把思考和理解的能力让渡给了 AI，对自己理解这件事其实没有任何价值。 OK，咱们进正题。 1 Demis 的态度非常明确，现在的大模型范式（大规模预训练 + RLHF + CoT）一定会是 AGI 最终架构的一部分，他不认为这会是条死路。 但要实现 AGI，还有几个关键问题要解决。这几个问题包括：持续学习、长程推理和记忆系统。 先从最容易看到的现象讲起，Context Window。 现在大模型处理长信息，最常用的招就是把 Context Window 一直撑大。一开始 8k，后来 32k，再后来 100 万 Token。听起来很厉害，但本质上是暴力堆砌。 Context Window 其实就相当于人脑里的 Working Memory，工作记忆。人的工作记忆能同时装多少东西？心理学里有个经典数字，7 个左右。背电话号码能记住 7 位上下，再多就溢出了。 大模型呢？已经做到 100 万 Token。 按理说，模型的工作记忆比人大几十万倍，应该比人聪明几十万倍才对。但显然不是。 问题也恰恰就出现在这。把所有东西都塞进 Context Window 里，里面包含了不重要的东西、错的东西、过时的东西。看起来信息很多，其实是一团乱麻。 那人为什么 7 个数字的工作记忆就够用？ 因为人脑背后还有另一套机制在工作。我们记得几年前的事，记得童年的事，记得几小时前发生的事。这些都不塞在工作记忆里，而是另一套系统。 具体来说这套系统是海马体，大脑里负责把新知识整合进已有知识库的那个部分。 研究发现，人睡觉的时候，特别是 REM 睡眠阶段，大脑会重放白天重要的片段，让大脑从中学习。新东西在睡觉的过程里，温柔地融进了旧的知识体系。 这个把新东西融进旧知识库的过程，就是持续学习。 模型现在没有这套机制。每一次对话结束，刚学到的东西就会忘记。下次重新打开，还是上次那个模型，没长进。 2 再聊聊长程推理的问题。英文表达是 Long-term Reasoning。我翻译为了长程。 长程推理这个词太抽象了。Demis 讲了一个特别具体的故事，听完会立刻明白他说的是什么。 他说自己喜欢跟 Gemini 下国际象棋。下棋的过程里能看到模型的 thinking trace，也就是它在那里到底想了什么。 然后他发现一件怪事。 模型考虑一步棋的时候，思考链里清清楚楚写着，这步是个昏招。但接下来，它没找到更好的走法，于是又走回这步昏招。 明明知道是错的，还是把错的那一步走出去了。 这个细节比任何 benchmark 数据都说明问题。因为它暴露的是模型缺少对自己思考过程的某种内省能力。 正常人下棋，意识到一步是昏招之后，脑子里会有一个反应，停一下，再想想。停一下、再想想这个能力，模型现在没有。它能在每一步局部判断对错，但没法基于整盘棋的局势去调整整体策略。 这就是长程推理还没搞定的样子。模型可以一步一步往前走，每一步看起来都合理，但走到后面整盘棋的方向其实是错的。它没有那种退回到当前思考的上一层、重新审视一下的能力。 说到底，模型缺的是一种内省。 3 学习、长程推理、记忆，这是 Demis 在播客里点出来的三个 AGI 鸿沟。 除此之外，他还反复提到了创造力。 2016 年 AlphaGo 跟李世石下棋，第二局走出了著名的 Move 37。那一步棋走出来的瞬间，全世界的围棋高手都看呆了。 所有人类几千年下围棋积累的经验都告诉它不该下那里，但 AlphaGo 下了。下完之后大家发现，是一步神来之笔。 很多人觉得，这就是 AI 的创造力来了。 但 Demis 说，对他自己来说，Move 37 只是起点。他真正想看到的是另一件事。AI 能不能发明围棋这件事本身。 这两件事的区别非常关键。 Move 37 是在围棋这个现成的规则里，找到了一步人类没想到的招。但围棋的规则、棋盘的形状、黑白子的对弈方式，是人类发明出来的。AI 在已有的框架里非常厉害，但能不能自己造一个框架，是另外一回事。 Demis 给了一个具体的设想。 如果给 AI 一个高层次的描述。造一个游戏，五分钟能学会规则，要好几辈子才能精通，棋局有审美，一下午能下完一局。AI 能不能根据这个描述，自己倒推出围棋？ 目前做不到。 为了把这件事讲得更清楚，Demis 还提了一个测试，他自己叫爱因斯坦测试。 用 1901 年人类已有的全部知识训练一个模型，看它能不能在 1905 年那个时间点，自己推出狭义相对论。 爱因斯坦在 1905 年那一年里，连写了几篇改变物理学的论文，后来叫爱因斯坦奇迹年。那些工作不是从已有的物理学论文里通过拼接得到的，是基于已有材料做了一次全新的概念跳跃。 爱因斯坦测试想问的就是这件事。AI 能不能做这种跳跃。 目前的大模型主要在做两件事，pattern matching 和 extrapolation。一个是从大量数据里找规律，一个是把规律往外延伸一点。但发现新东西需要的是类比推理的能力。从一个领域里抽出深层结构，搬到另一个全新的领域去用。 这个能力，模型现在还没有。也可能是有，但用法不对所以激发不出来。 4 除此之外，Demis 还分享了一个让我特别出乎意料的判断，他说未来 6 到 12 个月，真正的价值不在更大的模型，在更小的模型。 这一部分内容我反复听了好几次，确实突破我的已有认知。 不知道大家的想法，反正我自己，这一年来并没有怎么关注小模型的进展。毕竟行业的焦点就是把模型做大嘛。 那小模型的价值到底在哪？ 最直接的是成本。同样一个任务，小模型的推理价格可能只是前沿模型的十分之一甚至更少。 但 Demis 说，比成本更重要的其实是速度。 这里有一个前提得先说清楚。Demis 不是在说速度可以替代智能。 他的原话是，当小模型的能力已经达到前沿模型的 90% 到 95%，也就是已经相当不错的时候，剩下那 5% 到 10% 的能力差距，比不上速度带来的好处。 比如现在工程师用 AI 写代码，已经形成了一种新的工作节奏。一个想法冒出来，几秒之内就能看到结果，不行就改，再不行再改。 这个一改再改的循环跑得越快，做出来的东西就越好。如果每次调用都要等十秒，整个工作流就被打断了。 更关键的是，快到一定程度，工程师在这种节奏里能进入心流。一个想法、一次尝试、一个反馈、再来一个想法，思维不被打断。 这件事写过代码的人都懂，进入心流和频繁掉出心流，产出的差距是数量级的。 Agent 也是同样的逻辑。一个 Agent 跑完一个任务可能要调几十次模型，每次慢一秒，整个任务就慢一分钟。慢到一定程度，Agent 就从一个能用的东西变成鸡肋。 小模型不是大模型的廉价替代品。有些事只有小模型能做。 比如手机、眼镜、家用机器人，需要的就是一个能在本地跑起来的模型。本地跑除了反应快，还有一个特别重要的好处，隐私。 家里机器人看到的视频、听到的对话，全部在设备本地处理，根本不上云。这件事对很多用户来说不是加分项，是底线。 成本、速度、边缘部署，这是小模型的价值。 5 讲完小模型的价值，接下来一个更关键的问题是，能力被压到这么小的参数里，会不会有上限？ Demis 的判断是，目前没看到信息密度有任何理论上限。小模型的智能天花板还远没看到。 支撑这个判断的，是 DeepMind 在蒸馏这件事上的积累。蒸馏简单说就是先训练一个超大的模型，然后用这个超大模型去教一个小模型。教完之后，小模型用极少的参数，能复现原来 95% 以上的能力。 为什么 DeepMind 这么重视蒸馏？因为要把 AI 能力放进谷歌的头部产品中，前提是低延迟、低成本。前沿模型再强，每次推理花几秒钟、花几毛钱...这条路，恐怕很难走得通。 一个前沿模型发布之后，6 到 12 个月内，他们就能把这个模型的能力蒸馏到边缘设备能跑的小模型上去。这个时间表比很多人想的要快。 在很多场景中，小模型和大模型会相互配合。 举个例子，一个端到端的智能助手，绝大部分日常任务在本地的小模型上跑。智能眼镜看到的画面、家里机器人听到的对话、手机里的私人助理，模型直接在设备里读懂，不需要往云端传一遍。 只有遇到特别复杂、本地搞不定的问题，才向云端的前沿模型发起请求。 也就是说小模型在边缘做主力，前沿模型在云端做后援。 不过，这个构想对小模型的要求也比较高，它不能只会处理文字，还得能理解物理世界。 这就是为什么 Gemini 从一开始就坚持多模态，不光处理文字，也处理图像、视频、声音。 一开始这么做比只做文本要难得多，但眼镜也好，机器人也好，需要的是一个能看懂周围世界的模型，不是一个只会聊天的模型。 讲到这里，小模型这条路的轮廓就完全清楚了。它独立成立，不是前沿模型的廉价替代品，而是另一条同样重要的路。 嗯，很有启发。

00
迷走神经神走迷
2月前
如果未来有个Agent原生社区，该怎么做内容运营和创作者运营？
00
迷走神经神走迷
2月前
26年的Agent争夺战：context is the new moat，大厂争夺泛context，创业公司争夺高密度高价值context
00
迷走神经神走迷
2月前
00
迷走神经神走迷
2月前
UA的飞机真是openclaw的绝佳使用场景：免费wifi只能用IM
00
迷走神经神走迷
9月前
迷走神经神走迷
9月前
GEO是否面临和SEO一样的问题，一旦规模大就会失效？
00
迷走神经神走迷
11月前
出海短剧产能供给很短缺

TomXu在减肥: 参加Meta短剧活动，见到一堆加了7-10年的故人（认识或不认识）以及一堆做AI的。 各行各业都在转型做短剧，包括做SLG的，做跨境的，做社交的，做现金贷的，做园区的，做真金的，做xxx的…. 挺好，都在给Meta提供肥料。 白道里，也就短剧和AI能融点钱，不管是to C，to B，to G ，to VC or money laundry. 毛利能打正就不错了，别提净利润了，伤感情！ 短剧出海，其他所有媒体加起来，投流金额还没有Meta的一半。1）Meta人群更匹配：30-55岁的五眼联盟中老年妇女；TT用户太年轻不match；2）归因等基建，web to app；3）短剧本来也吃视频素材创意，适合native Video feeds；4）Google更注重后端事件优化和机器学习，广告模型对素材灵敏度也不够。 刚在会场询问了一群CP 承制方和平台方，大家都表示目前出海平台的现状： 1）日收入在10万美金以内时，还能通过控制译制剧的成本，精打细算保证一定利润率； 2）30万美金是个关键节点，日入超过30万美金后，利润逐渐会变稀薄，因为获客CPI上涨幅度更快更卷； 3）若每日达到50 - 100万美金，就需要依赖本土剧爆款支撑。且为了保证爆款率，每月至少需要20-30部国外产能，包括独家的发行权； 具体来说，日收入30万美金需要几千部中国剧做基础译制；50万美金要有中大型爆款（必须白人演员或日韩本土演员）；而日收入过百万美金则需要特别爆款（依赖改编能力，只有枫叶和点众2家）

00
迷走神经神走迷
11月前
严密的商业逻辑推理带来的往往是精确的错误
00
迷走神经神走迷
12月前
太有偶像包袱了也不好，会被反噬的

托马斯骆: 年轻一代AI创业者在打造个人人设这事儿上是很在意的。有的是学霸和青年学者，有的是产品感很好的AI应用探索者，有的是文艺青年，有的是孤独忧郁的思考者，有的是追求良好审美的体验官，有的是小切口看到大世界的聪明人。 ​ ​相应地，媒体记者很喜欢这样的人设，这方面她们与这些创业者做一些看上去很有“灵性”和个人趣味的访谈，动辄一聊几个小时。在一个“外围”充斥的朝阳行业，看上去貌似有趣的灵魂，被刻意包装出来的性格和品位，以及基于个人经验的小故事更容易让人们喜欢上一个人而忽略了TA做的事情，比起这些看似活泼而实则类似偶像练习生的人设打造，他们做的产品、技术和企业反正失败和转型的概率太高，反而不那么被关注，也不那么重要了。 ​ ​这其实有点无聊。创业者当然是人，但他们抽离于一般意义上的人性的那些常识、判断、技术能力和产品能力，作为创业者的综合素质，以及他们正在做的事儿究竟怎么样，其实更关键、更重要，也更有价值。 很多时候，我更想发现、看到和探索创业者不那么像人的那一面。你比如最近有报道说某明星机器人创业者没爱好没生活对情感和物质都没需求，我觉得这没什么不好，他很多抽离乱七八糟表象的本质思考更有意思。比如某大模型创业者从不打造人设，杀伐决断不留情面，普通人大概率不喜欢这一面，但他很多关键节点对外惜字如金的思考和表达，我觉得很有意思，到今天大模型六小龙不吃香了，我照样看好他的那家公司。 ​ ​没错，AI时代需要明星，也需要造星，媒体和社区肯定要参与其中。但它的发现机制，我更倾向于认为是VC和研究工作的外化，而不是搞梦工厂。现在很多媒体把自己当成了AI创业者的王京花和杨天真，这事儿味儿就变了。

00