Meta 发布了一种新的 3D 生成技术 D3GA，用高斯喷涂技术渲染的3D可控制人体模型。
之前的技术训练期间需要精确的3D标记，要么在测试期间需要密集的输入图像，或者两者都需要。
这个模型使用一种高效的技术来渲染人类形象，能够在实时帧率下工作，适合用于视频直播等场景。与现有技术相比，它在训练和测试时需要的数据更少，能够产生更高质量的结果。
下面是详细的介绍：

相关工作
对比：论文将D3GA与现有方法（如动态神经辐射场NeRF，基于点的或混合表示）进行了比较。
区别：D3GA以其实时渲染速度和从身体中分离服装的能力而脱颖而出，提高了姿态泛化。

方法
核心技术：该方法结合了3D高斯喷涂与神经表示和四面体笼，以模拟化身的动态部分。
关键要素：讨论了3D高斯喷涂的技术方面，笼形基于变形转移，以及这些元素如何有助于创造可驾驶的高斯化身。

数据集
使用的数据：数据集包括由200个摄像头捕捉的9个受试者，涵盖了广泛的身体形态、动作和服装类型。
应用：这些数据使得训练特定于个人的模型成为可能，这些模型可以被任何受试者的新姿态驱动。

结果
比较分析：D3GA与其他基于多视图的最先进方法进行了评估，重点关注图像质量和服装建模。
发现：结果表明D3GA在处理服装（尤其是松散的服装）方面的优越性能，并能够实现高质量的渲染。

讨论
局限性和未来工作：尽管D3GA显示出有希望的结果，但它在建模高频图案和服装动态方面面临挑战。论文提出了未来工作的潜在改进方向。

论文地址：arxiv.org