即刻App年轻人的同好社区
下载
App内打开
Simon的白日梦
11月前
现在的3D生成模型已经能够生成“我来组成头部!”的高达了~!🫨
Copart: Contextual Part Latents for 3D Generation (基于上下文部件潜变量的3D生成)
🧐 这篇论文提出了一个颠覆传统的3D生成框架——CoPart,它不再用单一潜变量生成复杂3D对象,而是借鉴设计师的思维,将对象拆解成多个上下文相关的部件潜变量,从而提升生成质量、可控性和细节表现。
➡️链接:hkdsc.github.io
✨重点

●🧩 反常识创新:现有3D扩散模型通常用一个整体潜变量表示复杂对象,CoPart打破这一假设,把3D对象拆分成多个互相关联的“部件潜变量”,每个部件独立建模并协同生成。
●🔍 解决三个关键挑战:解决了现有方法对复杂对象细节丢失、忽视部件独立性及关系、难以细粒度控制的问题。
●📐 生成过程细节:从VAE中提取部件图像和几何token,加高斯噪声后输入2D和3D去噪器;引入跨模态注意力和跨部件注意力实现3D-2D信息交互和部件间协调。
●🪄 互导机制:提出一种新颖的“互导”策略,用于微调预训练扩散模型,实现部件潜变量的联合去噪。
●📦 PartVerse数据集:发布了首个大规模、人工标注的3D对象部件数据集——PartVerse,包含详细的部件层级、形状、外观及部件与整体关系的文字描述。
●🎨 部件级控制:相比传统全局条件(文本、图像、点云),该框架自然支持更精细的部件级别控制。
●📝 方法与贡献:通过将3D对象看作部件集合,降低编码负担、促进部件关系学习,并支持部件层面的编辑和控制。
●📄 技术亮点:3D边界框被当作立方体网格处理,box token通过cross-attention注入3D去噪器,同时渲染为2D图像再注入2D去噪器。
00:36
13

来自圈子

圈子图片

人工智能讨论组

475781人已经加入