即刻App年轻人的同好社区
下载
27 20
我缓缓睁开了眼，发现自己在陌生的房间里醒来。“这是哪？”房间看起来颇具未来感，从一扇百叶窗外透进来杂乱的霓虹灯光，天花板上方的全息投影装置，闪着幽幽的蓝色微光。我从衣柜里随便翻出一套黑色的夹克外套穿在身上，并径直朝房间门口走去。当我触碰到门边的一刹那，整个世界突然开始在我面前解构，重组，视线里充斥着翻转的方块，从彩色变成纯白，又从纯白变回彩色，太过刺眼。
当光线趋于稳定，我缓缓睁开了眼，发现自己已然身处一片绿意盎然的荒野之中，远处依稀耸立着一座座高塔。我捡起地上的一根树枝，朝向远方乌云笼罩之地出发。
—— 选自子雨超短篇小说《Genie》
当光线趋于稳定，我缓缓睁开了眼，发现自己已然身处一片绿意盎然的荒野之中，远处依稀耸立着一座座高塔。我捡起地上的一根树枝，朝向远方乌云笼罩之地出发。
—— 选自子雨超短篇小说《Genie》
Szhans: 🧞♀️ Google 推出惊艳业内的「世界模型」Genie，可交互的游戏世界正在无限生成中 Hans 用非技术语言、增加大量类比和注释，以帮助更多人理解这一技术的重大意义。 （ 首发于即刻，转载请使用即刻标准分享手段） 🎮 让我们设想三个场景： - 输入一张图， 然后AI 基于这个图中的「世界」生成一个可交互的环境，角色在里面符合物理定律的行动和探索 - 上传一副你手绘的草图（或者充满想象力的儿童绘画），AI 不仅能区分物件之间的「边界」，还能将你绘制的内容建构成一个可互动的游戏世界 - 或者就一张照片， 里面有一个你喜欢的狗狗/卡通， 通过AI 一键复活，瞬间具备可操作的游戏角色和虚拟天地 （以上所有效果示意图，除了参考视频，也可以参见注释[1]） 这就是Genie（精灵）， 一个生成可互动环境的模型，它可以通过图像（文字）提示生成完全可玩的虚拟世界。 它基于20万小时的 2D互联网游戏视频训练出来，是一个基础世界模型 。[2] 📺 精灵的独特之处 Genie 由三个部分组成：一个潜在动作模型 [3] ，用于推断每对帧之间的潜在动作；一个视频标记器，用于将原始视频帧转换为离散标记；以及一个动态模型，用于在给定潜在动作和过去帧标记的情况下，预测视频的下一帧。（评论区的图b，示意图） Genie 是非监督学习训练，完全从互联网视频中学习「控制」，这很不容易，因为原始数据不带标签（对应有意义的执行动作）。 Genie就能够了解哪些对象是可控的，并推理其在环境各种潜在动作。 从某种程度来说， 我们可以说这是text 2 action （生成互动世界）的重大突破。 🕹️ 交互可解释性 Genie 经过「学习」，可以很快和人类一样找出物体、环境和动作之间的映射关系。 哪些物体是用来攀爬的，哪些是有过来跳跃的，潜在动作空间就表现出多样性和一致性，而这些动作和交互是具有语义（语言学）价值的。 [4] 如果放在AI Agents 语境下，这种语义的一致性会非常有价值。 这也引出了世界模型的通用型意义。 🤖 通用性 Genie模型具有通用型，不局限在2D中。Deepmind团队在没有动作的机器人数据（RT-1）上训练，证明了一个可学习「控制动作」的模拟器。 目前，Genie 还没有开放产品体验，和Meta V-JEPA类似[5]，它对于虚拟世界创作者、AI Agent、仿真机器人技术等推动意义重大。 如Google DeepMind 团队所坚信的： 「Genie 开创了能够从图像或文本生成整个互动世界的新纪元。我们还相信，它将成为训练未来通用人工智能代理的催化剂。」 📖 注释和参考： [1] 官网 https://sites.google.com/view/genie-2024 [2] Yann Le Cun 定义的「世界模型 」https://twitter.com/ylecun/status/1759933365241921817 （参考评论区 图c） 在这个定义之上，让我们用玩电子游戏的类比「世界模型」的出初级解释： 想象你在玩一款探险游戏。在游戏中，你（玩家）需要根据你看到的（比如前方的路、障碍物或宝藏）来做出决定（向左走、跳过障碍物、捡起宝藏）。这里的「世界模型」就好比是游戏里的规则和逻辑，帮助你预测接下来会发生什么。 1. 观察（x(t)）：就像你在游戏中看到的画面。比如，你现在站在一条路的起点，前面有一棵树。 2. 先前的世界状态（s(t)）：基于你之前的经历和当前的位置，你对游戏世界的理解。比如，你知道树后面可能藏有敌人或宝藏。 3. 行动提案（a(t)）：你打算采取的行动。比如，你决定绕过树去探索背后。 4. 潜在变量提案（z(t)）：这些是你不确定的元素，可能会影响游戏的进程。比如，树后面到底有什么？是敌人还是宝藏？ 「世界模型」会根据这些信息，帮助你做出最好的决策。 就好比游戏中的AI，根据你的行动和游戏世界的状态来预测接下来会发生什么，并指导你如何应对。 总的来说，「世界模型」就像是游戏中的智能系统，帮助你根据当前的情况和可能的变数，预测接下来会发生什么，并告诉你如何做出最佳的决策来赢得游戏。 [3] 潜在动作模型（Latent Action Model）的初级解释： 想象一下，你正在玩一个视频游戏，比如一个探险类游戏。在游戏中，你控制的角色可以跳跃、攀爬或进行其他动作。但是，游戏中并没有直接告诉你每个按钮对应的具体动作是什么，你需要通过尝试和游戏的反馈来了解这些。 "潜在行动模型"就像是游戏里的一套规则，它帮助游戏理解和预测角色的行动。这个模型并不是直接告诉你每个按钮做什么，而是通过观察角色在游戏世界中的行为和环境的变化，来"学习"和"理解"每个动作背后的含义。 [4] 论文 Genie：Generative Interactive Environment https://t.co/B2Id29hG3c [5] Meta 正式公布 V-JEPA https://m.okjike.com/originalPosts/65d53f6ea922aa28d09aa61c
6 00
