登陆注册
13912

细粒度文字转动画技术MoMask 文本驱动的3D人体运动生成模型

站长网2023-12-06 10:37:420

要点:

MoMask是一个文本驱动的3D人体动作生成模型,采用层级量化方案表示动作,包括基础层的运动标记和逐层存储的残差标记。

模型包括Masked Transformer和Residual Transformer,用于在训练阶段通过文本输入预测基础层的随机掩码动作标记,并在生成阶段填充缺失标记,并逐渐预测更高层次的标记。

MoMask在文本到运动生成任务中表现优越,例如在HumanML3D数据集上,其FID为0.045,明显优于T2M-GPT的0.141。此外,MoMask还能无缝应用于相关任务,如文本引导的时间修复。

MoMask是一个创新的3D人体运动生成模型,其核心思想是通过层级量化方案表示人体动作,包括基础层和逐层的残差标记。在模型结构上,引入了Masked Transformer和Residual Transformer,分别用于预测基础层的掩码动作标记和逐渐预测更高层次的标记。这一框架使得MoMask在文本到运动生成任务中表现卓越。

MoMask的应用不仅局限于文本到运动生成,还展示了在文本引导的时间修复任务中的出色表现。通过展示中,模型成功地完成了对动作片段中特定区域的修复,根据文本描述 inpaint 了中间、后缀和前缀区域,呈现出令人满意的合成效果。

项目地址:https://github.com/EricGuo5513/momask-codes

在实验结果分析中,MoMask通过对残差量化层的变化进行研究,展示了其对运动标记的高保真重建能力。生成方面的比较进一步证明了残差标记的重要性,MoMask在不同组合的标记下能够更准确地执行微妙的动作,相较于其他基线模型表现更为出色。

论文通过对比MoMask与其他三种强基线方法,包括扩散模型和自回归模型,证明了MoMask在捕捉语言概念和生成更真实动作方面的优越性。这使得MoMask成为文本驱动的3D人体运动生成领域的先进模型。

MoMask通过引入层级量化和Transformer结构,在文本驱动的3D人体运动生成任务中取得了显著的性能提升,同时在相关任务上也展现了出色的通用性。其在重建、生成和比较方面的实验证明了其在3D人体动作建模领域的卓越性能。

0000
评论列表
共(0)条