Adobe发布创新的DMV3D方法 单个A100生成3D图像只需30秒

要点:

1. Adobe研究院和斯坦福大学的研究者提出了一种基于Transformer的3D生成方法DMV3D，利用单个A100GPU仅需30秒即可生成各种高保真3D图像。

2. DMV3D是一种全新的单阶段全类别扩散模型，通过2D多视图图像扩散、3D NeRF重建和渲染的集成，实现端到端的训练，避免了传统3D生成方法中的问题。

3. 通过使用稀疏的多视图投影作为训练数据，DMV3D能够在单个图像或文本输入的情况下实现3D生成，取得了在单图像3D重建方面的State-of-the-Art（SOTA）结果，超越了先前方法。

近期，Adobe研究院和斯坦福大学的研究者推出了一项创新的3D生成方法，命名为DMV3D。通过基于Transformer的新型单阶段全类别扩散模型，该方法能在单个A100GPU上仅需30秒的时间内生成高保真3D图像。DMV3D通过将2D多视图图像扩散、3D NeRF重建和渲染集成到一个端到端的训练过程中，成功避免了传统方法中的问题。

论文地址:https://arxiv.org/pdf/2311.09217.pdf

官网地址:https://justimyhxu.github.io/projects/dmv3d/

这项研究的关键在于使用稀疏的多视图投影作为训练数据，以解决传统3D生成方法中存在的模糊和难以去噪的问题。相比之下，DMV3D展示了在单个图像或文本输入的情况下实现3D生成的能力。通过固定一个稀疏视图作为无噪声输入，并对其他视图进行类似于2D图像修复的降噪，DMV3D能够在30秒内生成各种高保真3D图像，这一成果超越了先前基于SDS的方法和3D扩散模型。

研究者还介绍了DMV3D的训练和推理过程，包括基于重建的多视图降噪器的构建、多视图扩散和去噪的方法以及模型的时间和相机调节。此外，通过引入文本或图像的条件降噪器，DMV3D实现了可控的3D生成，为无条件生成模型提供了更多可能性。

这一创新方法的提出对于AI视觉领域的3D生成研究具有重要意义，不仅在技术上解决了传统方法的问题，而且在性能上取得了SOTA的成果。该研究为未来的VR、AR、机器人技术和游戏等应用领域提供了新的可能性。