即刻App年轻人的同好社区
下载
App内打开
Simon的白日梦
7月前
好家伙,带3D controlnet的3D生成模型🥹:通过点云、体素、骨骼、包围盒等多模态条件实现更精细的 3D 建模控制。话说国内几个大厂感觉都进化成源神了😂
GitHub - Tencent-Hunyuan/Hunyuan3D-Omni
🧐 腾讯混元团队推出的 Hunyuan3D-Omni 是一个统一的 可控 3D 资产生成框架,在继承 Hunyuan3D 2.1 的基础上,新增统一控制编码器,可通过点云、体素、骨骼、包围盒等多模态条件实现更精细的 3D 建模控制。
➡️链接:github.com
✨重点

● 🏗️ 统一框架:在 Hunyuan3D 2.1 的基础上升级,核心亮点是引入统一控制编码器,支持多模态约束生成。

● 📦 多模态控制:
Bounding Box Control:生成符合三维包围盒约束的 3D 模型;
Pose Control:根据骨骼姿态生成 3D 人体模型;
Point Cloud Control:用点云数据引导模型生成;
Voxel Control:通过体素输入生成 3D 形体。

● 🚀 推理与优化:提供 inference.py,支持 --control_type 指定控制方式,并可加 --use_ema 提升稳定性,--flashvdm 加速推理。

● 💻 硬件需求:生成一次需要约 10GB 显存,较为轻量。

● 🎁 模型 Zoo:已在 Hugging Face 提供 33 亿参数的 Image-to-Shape 多模态控制模型(2025-09-25 发布)。

● 🔗 技术依赖:参考了 TripoSG、Stable Diffusion、DINOv2、diffusers、CraftsMan3D 等开源项目。

● 📖 学术成果:对应论文已上传 arXiv(2509.21245),并在系列论文中延续 Hunyuan3D 1.0 → 2.0 → 2.1 → Omni 的发展脉络。

● 🛠️ 使用门槛低:基于 Python 3.10 和 PyTorch 2.5.1,安装简单。
01

来自圈子

圈子图片

人工智能讨论组

475190人已经加入