Meta 新模型:SAM来了~惊人的通用性,图像内物件分割的超级利器!
Meta AI 发布了最新的图像分割模型Segment Anything(SAM), 能够从任何照片或视频中一键分割任何对象+零样本转移到其他分割任务。
这意味着它在商品识别(制作)、机器人视觉、医学图像诊断、自动驾驶、视频剪辑、增强现实等领域发挥重要作用。
以下是它的主要特性:
1️⃣ 满足图像分割的通用需求。SAM 是一个通用的、可提示的图像分割模型。它可以通过简单的交互(如点击、框选、文本等)来进行交互式分割和自动分割,表征其可控性。
2️⃣ 零样本学习能力。 数据集包括超过11亿个分割masks,这些masks是在大约1100万张有执照和保护隐私的图像上收集的;Sam 已经学会了关于物体是什么的通用概念——这种理解使得对不熟悉的物体和图像进行零距离的概括,而不需要额外训练。
3️⃣ 高效和速度。SAM 能在50毫秒内根据任何提示实时生成一个分割,这代表其具有实时性的应用可能性。
4️⃣ 丰富的多样化场景。SAM 生成多个有效的mask来处理模糊或不确定的情况。这意味着现实世界的分割任务具有灵活性,相当有意义。
5️⃣组合性强。SAM有望在许多需要在任何图像中找到和分割任何对象的领域中发挥作用。SAM还可以成为更广泛的多模态世界理解系统的组件。
Meta 团队期望,像SAM这样的组合系统设计以及提示技术将启用比专门针对固定任务集训练的系统更广泛的应用范围。他们预见在像增强现实/虚拟现实、内容创作和科学领域等领域都能发挥重要作用。Segment Anything, 通用、开源!
Jin Fan 随后评价到:「我相信今天是计算机视觉领域的“GPT-3 时刻”之一。」
更多实际场景案例,以及可互动的Demo,并可亲自测试。推荐访问:
segment-anything.com