登陆注册
14143

HumanGaussian开源:基于Gaussian Splatting的高质量3D人体生成新框架

站长网2023-12-11 09:59:090

要点:

结构感知的SDS引入人体结构先验,同时优化外观和几何形状。

通过退火的负文本引导,确保真实结果,避免过度饱和和消除浮动伪影。

HumanGaussian框架能够生成多样、逼真的高质量3D人体模型,展现真实外观和细粒度的细节。

在3D生成领域,为了实现高质量的3D人体外观和几何形状,研究者们一直在探索自动化的生成方法。传统方法需要经历多个人工制作步骤,而最新的HumanGaussian框架通过结构感知的SDS和负文本引导等核心方法,成功解决了3D人体生成中效率与质量之间的权衡问题。

HumanGaussian引入了结构感知的SDS,利用SMPL-X网格形状初始化3D高斯中心位置。相较于以往的方法,这一框架通过缩放和变换实现合理的人体尺寸,并在3D空间中居中,为3D生成提供了更全面的初始信息。通过SDS源模型,结合RGB和深度图的结构专家分支,研究者成功构建了一个统一的模型,同时捕获外观的图像纹理和前景/背景关系的结构,促进了3D高斯的学习过程。

项目地址:https://github.com/alvinliu0/HumanGaussian

为了解决3D生成内容与文本之间的对齐问题,HumanGaussian采用了退火的负文本引导,通过结合两个分数进行监督。相较于传统方法中较大的无分类器引导尺度,这一方法能够更清晰地指导SDS损失,避免损害训练稳定性。实验证明,负文本分类器分数的退火可以在小时间步长内提高质量,同时保持稳定性,使生成更真实,消除了浮动伪影。

在性能对比实验中,HumanGaussian在3D人体生成领域取得了优越的成果,展现出更真实的外观、更连贯的结构、更好的视图一致性以及更细粒度的细节捕捉。这一创新框架的开源将有助于推动相关领域的研究和应用,为虚拟试穿、沉浸式远程呈现等应用提供更高质量的3D人体生成解决方案。

HumanGaussian作为一种有效而快速的3D人体生成框架,通过结构感知的SDS和负文本引导的创新方法,成功地平衡了效率和质量,为高质量、真实的3D人体模型的生成提供了新的思路和解决方案。这一框架的开源将为相关研究者提供有力工具,推动3D生成领域的发展。

0000
评论列表
共(0)条