好家伙,带3D controlnet的3D生成模型🥹:通过点云、体素、骨骼、包围盒等多模态条件实现更精细的 3D 建模控制。话说国内几个大厂感觉都进化成源神了😂
GitHub - Tencent-Hunyuan/Hunyuan3D-Omni
🧐 腾讯混元团队推出的 Hunyuan3D-Omni 是一个统一的 可控 3D 资产生成框架,在继承 Hunyuan3D 2.1 的基础上,新增统一控制编码器,可通过点云、体素、骨骼、包围盒等多模态条件实现更精细的 3D 建模控制。
➡️链接:
github.com✨重点
● 🏗️ 统一框架:在 Hunyuan3D 2.1 的基础上升级,核心亮点是引入统一控制编码器,支持多模态约束生成。
● 📦 多模态控制:
Bounding Box Control:生成符合三维包围盒约束的 3D 模型;
Pose Control:根据骨骼姿态生成 3D 人体模型;
Point Cloud Control:用点云数据引导模型生成;
Voxel Control:通过体素输入生成 3D 形体。
● 🚀 推理与优化:提供 inference.py,支持 --control_type 指定控制方式,并可加 --use_ema 提升稳定性,--flashvdm 加速推理。
● 💻 硬件需求:生成一次需要约 10GB 显存,较为轻量。
● 🎁 模型 Zoo:已在 Hugging Face 提供 33 亿参数的 Image-to-Shape 多模态控制模型(2025-09-25 发布)。
● 🔗 技术依赖:参考了 TripoSG、Stable Diffusion、DINOv2、diffusers、CraftsMan3D 等开源项目。
● 📖 学术成果:对应论文已上传 arXiv(2509.21245),并在系列论文中延续 Hunyuan3D 1.0 → 2.0 → 2.1 → Omni 的发展脉络。
● 🛠️ 使用门槛低:基于 Python 3.10 和 PyTorch 2.5.1,安装简单。