中国研究团队发布多视角数据集“FreeMan” 解决3D人体姿势估计局限性
文章概要:
- “FreeMan”是一份大规模多视角数据集,旨在解决现有3D人体姿态估计数据集的局限性。
- 数据集包含来自8台同步智能手机的1100万帧,跨足了室内和室外环境,具备不同光照条件,提供了更真实的场景多样性。
- 研究者通过自动化的标注流程,包括人体检测、2D关键点检测、3D姿态估计和网格标注,生成了精确的3D标注,可用于多种任务,如单2D到3D转换、多视角3D估计和神经渲染。
从真实场景中估计人体的三维结构是一项具有挑战性的任务,对于人工智能、图形学和人机交互等领域具有重要意义。然而,现有的3D人体姿态估计数据集通常在受控条件下收集,具有静态背景,无法代表真实世界场景的多样性,从而限制了用于真实应用的准确模型的开发。
在这方面,类似于Human3.6M和HuMMan的现有数据集广泛用于3D人体姿态估计,但它们是在受控的实验室环境中收集的,无法充分捕捉真实世界环境的复杂性。这些数据集在场景多样性、人体动作和可扩展性方面存在局限。研究人员提出了各种模型用于3D人体姿态估计,但由于现有数据集的局限性,它们的效果通常在应用于真实场景时受到阻碍。
中国的一支研究团队推出了“FreeMan”,这个由来自香港中文大学(深圳)和腾讯等机构的团队共同合作开发的项目,被誉为革新性的多视角数据集,旨在为3D人体姿势估计领域带来新的突破。
FreeMan是一个新颖的大规模多视角数据集,旨在解决现有数据集在真实场景中3D人体姿态估计方面的局限性。FreeMan是一项重要的贡献,旨在促进更准确和稳健模型的开发。
FreeMan项目的特点之一是其数据集的规模和多样性。该数据集由8部智能手机在不同场景下的同步录制组成,包括10个不同场景、27个真实场地,总计包含了超过1100万帧的视频。每个场景都涵盖了不同的照明条件,使得这个数据集成为一个独一无二的资源。
FreeMan数据集的开源是为了促进大规模预训练数据集的发展,同时也为户外3D人体姿势估计提供了全新的基准。这一数据集不仅包括视频,还提供了丰富的注解信息,包括2D和3D人体关键点、SMPL参数、边界框等,为研究人员提供了丰富的资源以推动相关领域的研究。
值得注意的是,FreeMan引入了相机参数和人体尺度的变化,使其更具代表性。研究团队开发了自动化的标注流程,以从收集的数据中高效生成精确的3D标注。这一流程包括人体检测、2D关键点检测、3D姿态估计和网格标注。由此产生的数据集对于多种任务都非常有价值,包括单目3D估计、2D到3D转换、多视角3D估计和人体主体的神经渲染。
研究人员提供了对FreeMan进行各种任务的全面评估基线。他们将在FreeMan上训练的模型与在Human3.6M和HuMMan上训练的模型的性能进行了比较。值得注意的是,在3DPW数据集上测试时,训练在FreeMan上的模型表现出显著更好的性能,突显了FreeMan在真实场景中的卓越泛化能力。
在多视角3D人体姿态估计实验中,与在Human3.6M上训练的模型相比,在跨领域数据集上测试时,训练在FreeMan上的模型表现出更好的泛化能力。结果一致显示了FreeMan多样性和规模的优势。
在2D到3D姿态转换实验中,FreeMan的挑战显而易见,因为在这个数据集上训练的模型面临更大的难度。然而,当模型在整个FreeMan训练集上进行训练时,其性能得到改善,显示出该数据集提高模型性能的潜力。
FreeMan的可用性预计将推动人体建模、计算机视觉和人机交互领域的进步,弥合了受控实验室条件与真实场景之间的差距。
项目网址:https://wangjiongw.github.io/freeman/
与 ChatGPT 对话足以辅助设计 CPU:人工智能也可使硬件制造受益
纽约州立大学(NYU)的一个研究团队完成了一项看似不可能的任务:他们成功设计了一款没有硬件定义语言的半导体芯片。他们仅仅使用了简单的英语,通过其中的定义和示例来定义和描述半导体处理器,展示了人类的聪明才智、好奇心和基础知识在与ChatGPT的AI能力相结合时所能实现的惊人成就。站长网2023-06-20 17:10:310000开源AI拯救Meta一夜飙升1960亿刀,39岁小扎爬出元宇宙深坑!年分红7个亿,靠Llama赢麻了
【新智元导读】把小扎从元宇宙大坑中拯救出来的,居然是开源AI!市值大涨的Meta,现在能让小扎一年分红7亿美元。股价图一出,LeCun都评论:有意思。谁能想到,把小扎从元宇宙的泥坑里拯救出来的,竟然是开源AI?在Facebook20周年之际,Meta在2月4日公布了季度报告后,市值瞬间飙涨1900亿美元。同时,这张图片也开始在网上疯传。站长网2024-02-04 16:41:520000AI无法替代孙燕姿,但我好想让AI分身替我上班啊!
过去两个月,当孙燕姿本人正在为日渐凸起的肚子和孩子们的日常琐事苦恼时,“AI孙燕姿”在B站“复出”了。凭借高度还原孙燕姿本人独具辨识度的音色与唱腔,“AI孙燕姿”翻唱的《发如雪》《下雨天》《半岛铁盒》《爱在西元前》,均收获了不俗的播放量。关键“她”还特别卷,每天都有不少“新作”面世。在B站搜索“AI孙燕姿”,相关翻唱视频达上千条,远远超出了孙燕姿本人出道23年的唱片数量总和。站长网2023-05-25 13:59:310000生成式人工智能服务管理办法发布:AI生成内容应进行标识
今日午间,国家互联网信息办公室发布关于《生成式人工智能服务管理办法(征求意见稿)》公开征求意见的通知。意见反馈截止时间为2023年5月10日。征求意见稿明确,提供生成式人工智能产品或服务应当遵守法律法规的要求,尊重社会公德、公序良俗,符合以下要求:站长网2023-04-12 14:59:210000谷歌推数学几何模型Alpha Geometry 解题能力接近奥数金牌选手
谷歌推出了新的面向数学几何领域的模型AlphaGeometry,数学几何能力已接近人类奥林匹克金牌选手的水平。特别值得一提的是:它的训练是基于合成数据而不是现有的数据。它训练的方式很有特别:先初始生成了十亿个随机几何图形,并全面分析了每个图形中点和线的所有关系。AlphaGeometry找出了每个图形中所有的证明,并反向追溯出为得到这些证明所需添加的额外几何元素(如果有的话)。站长网2024-01-18 14:39:420001