首个人体动捕基模型SMPLer-X面世 可捕捉身体甚至面部动作
站长网2023-10-30 15:04:271阅
要点:
1. 首次提出了动捕大模型SMPLer-X,用来进行人体全身姿态与体型估计,通过训练450万个实例,在七个关键榜单上取得最佳性能。
2. SMPLer-X不仅能够捕捉身体动作,还可以输出面部和手部动作,并估计体型。
3. 该研究探索了数据缩放与模型缩放,对32个学术数据集进行排名,展示了在各种测试和榜单中的强大性能。
首个人体动捕基模型SMPLer-X在NeurIPS2023上亮相。本研究首次针对人体全身姿态与体型估计任务引入了SMPLer-X,通过使用来自多个数据源的450万个实例进行训练,成功刷新了七个关键榜单的最佳性能。
项目地址:https://caizhongang.github.io/projects/SMPLer-X/
SMPLer-X不仅能够进行身体动作捕捉,还可以输出面部和手部动作,甚至估计体型。这一模型的强大性能得益于大量的数据和大型模型,即使在未知环境中也表现出出色的通用性。
研究人员在研究中进行了数据扩展、模型缩放以及微调策略的探索,以进一步提高模型性能。通过对32个不同的学术数据集进行排名,SMPLer-X在关键榜单上实现了最佳性能,并展示了数据缩放和模型缩放的有效性。
这个研究还强调了数据集的泛化性研究,指出在模型训练中使用10万个实例数量级的数据集可以获得高性价比。此外,对不同数据集的采集场景和标注也进行了详细研究,强调了生成数据集和伪标签数据集的重要性。
总的来说,SMPLer-X的提出和研究为人体动捕领域带来了重要的突破,为学术社区提供了强大的全身人体动捕大模型。该研究的代码和预训练模型已经开源,为更广泛的应用提供了便利。这一成果不仅可以用于角色动画制作,还在许多其他领域具有潜在的应用前景。
0001
评论列表
共(0)条相关推荐
《剑侠世界3》X喜羊羊联动今日开启,携手仗剑,永远少年!
西山居新一代剑侠情缘手游《剑侠世界3》与经典国漫《喜羊羊与灰太狼》联动今日开启!精致帅气的童趣时装、可爱软萌的小羊坐骑、妙趣横生的精彩玩法……多重惊喜快乐加倍!这一次,来剑侠江湖打破次元壁,同喜羊羊与灰太狼一起探索武侠真江湖!【童心主题时装上线,联动饰品萌动江湖】站长网2023-05-25 10:42:440002一天流水5万元,泉州头饰火爆全网
簪花围,称得上是这个春节最IN(时尚)的潮流单品。这一用花环打造成的头饰俨然成为汉服圈的新晋配饰。在各大古镇,随处可见身着汉服头顶簪花围的女孩,她们浓墨艳丽,成为点亮古镇的一撇。0000首发支持Win12 Intel酷睿Ultra处理器押注AI:重塑所有体验
快科技8月4日消息,Intel今年的处理器产品线会有重要变化,桌面版会推出14代酷睿,但它实际上是13代酷睿架构基础上打磨而来的,插槽及主板向下兼容,而移动版则会迎来全新的酷睿Ultra,也就是MeteorLake。这个系列变化就大多了,不仅首发Intel4工艺这是Intel第一代EUV工艺,芯片架构也会是酷睿首次使用小芯片架构,CPU、GPU及IO模块最多有4种工艺。站长网2023-08-05 09:04:370000中端神机!Redmi Note系列全球销量突破3.38亿台
快科技9月21日消息,小米集团卢伟冰表示,RedmiNote系列全球销量突破3.38亿台,成为中端爆款。回顾RedmiNote系列进化史,Redmi将很多旗舰级的体验普及到了Note系列机型上。站长网2023-09-21 20:55:310000盘点英国十大人工智能初创公司
随着人工智能的崛起,技术领域面临着前所未有的机遇与挑战。除了像ChatGPT这样的技术,人工智能在初创企业中也发挥着重要作用。英国充满了将人工智能融入其平台或作为业务运营主要工具的初创公司。以下是10家体现人工智能应用的有趣初创公司IDVerse0000