微软AI研究提出AI模型HMD-NeMo:可基于部分手部动作准确生成全身动作
**划重点:**
1. 🌐 微软Mixed Reality & AI Lab的研究人员提出HMD-NeMo,一种新的神经网络模型,能够在手部部分可见的情况下生成真实和准确的全身动作。
2. 🧠 HMD-NeMo采用时空编码器和新颖的可调节时间蒙版token(TAMT),在实时和在线情景下操作,解决了虚拟现实中全身动作生成的挑战。
3. 🚀 该方法通过在Motion Controllers和Hand Tracking等场景下进行广泛评估,并在多个数据集上超越现有方法,展示了其在解决虚拟现实中生成全身动作的问题上的重要进展。
在混合现实场景中,生成准确和真实的全身虚拟角色动作一直是一个持久性的挑战。传统解决方案通常使用头戴式设备(HMDs),依赖有限的输入信号,如头部和手部的6自由度(DoF)。然而,最近的进展在从头部和手部信号生成全身动作方面取得了令人印象深刻的表现。然而,它们普遍存在一个共同的限制,即假设手部完全可见。这一假设在手部跟踪依赖于自我中心传感器的情况下成立,由于HMD的有限视野,导致手部部分可见。
来自微软Mixed Reality & AI Lab的研究人员引入了一种创新的方法 - HMD-NeMo(HMD神经运动模型)。这一统一的神经网络能够在手部仅部分可见的情况下生成真实和准确的全身动作。HMD-NeMo实时在线运行,适用于动态混合现实场景。
HMD-NeMo的核心是一种时空编码器,具有新颖的可调节时间蒙版令牌(TAMT)。这些令牌在没有手部观测的情况下鼓励生成真实的动作。该方法采用循环神经网络高效捕捉时间信息,并使用变压器模型复杂地建模不同输入信号组件之间的关系。
研究纸提出了两种评估场景:Motion Controllers(MC),其中使用运动控制器跟踪手部,和Hand Tracking(HT),其中使用自我中心手部跟踪传感器跟踪手部。结果表明,HMD-NeMo是第一种能够在统一框架内处理这两种情况的方法。在HT场景中,即使手部可能完全或部分不在视野中,可调节时间蒙版token在维持时间连贯性方面表现出色。
该方法使用损失函数进行训练,考虑数据准确性、平滑度以及在SE(3)中进行人体姿势重建的辅助任务。实验证明了HMD-NeMo在AMASS数据集上的出色性能,该数据集包含转换为3D人体网格的大量人体运动序列。采用关节位置误差(MPJPE)和关节速度误差(MPJVE)等指标评估HMD-NeMo的性能。
与运动控制场景中的最先进方法进行比较显示,HMD-NeMo实现了更高的准确性和更平滑的动作生成。此外,通过跨数据集的评估,证明了该模型的泛化能力,在多个数据集上优于现有方法。
深入研究了不同组件的影响,包括TAMT模块在处理缺失手部观测方面的有效性。研究表明,HMD-NeMo的设计选择,如时空编码器,对其成功起到了重要作用。
HMD-NeMo在解决混合现实场景中生成全身虚拟角色动作的挑战方面迈出了重要的一步。其在处理运动控制和手部跟踪等多种场景中的多功能性,以及出色的性能指标,使其成为该领域的开创性解决方案。
论文网址:https://www.microsoft.com/en-us/research/publication/hmd-nemo-online-3d-avatar-motion-generation-from-sparse-observations/
宇信科技推出金融行业大模型应用 包括CodePal、DataSherpa等
宇信科技宣布在金融行业落地大模型应用方面取得了突破进展。他们推出了四个应用级产品和一个开发平台,分别是开发助手CodePal、金融数据安全分级分类助手DataSherpa、AI信贷助手(客户尽调)、AI营销助手和大模型应用开发平台。站长网2023-10-18 21:12:440000首个ChatGPT版网站开发平台dora AI上线,输入文本3分钟生成一个网站
要点:1、首个生成式AI网站开发平台doraAI全面开启公测,用户通过文本提示快速开发网站,平均3分钟一站点。2、doraAI与传统模版不同,每个页面根据用户文本提示生成,可视化编辑操作简单高效。3、doraAI提供免费试用,用户通过文本提示快速创建商务、科技、营销等多种类型网站。站长网2024-03-21 19:15:440001智能手机依然是一个被严重低估的行业 AI 大模型是最根本的生产关系
天风证券研究所所长赵晓光表示,智能手机从5月份开始到未来依然是一个被严重低估的行业,行业「内卷」结束了,没有人再扩产了,没有人做资本开支了,没有库存,没有扩张,业绩、估值均处于历史相对底部。站长网2023-08-03 15:03:160000一加12搭载独家自研全区域多功能NFC:感应范围覆盖整机
快科技12月3日消息,一加12旗舰新机将会在12月5日14:30正式发布,现在该机已经在OPPO商城开启预约。据一加手机今日介绍,一加12搭载独家自研全区域多功能NFC”,手机的多个部位都能感应NFC,覆盖到整机更多区域。同时,用户在使用手机刷门禁、公交卡等,无需瞄准”,正面、反面、侧面都能刷。站长网2023-12-03 18:25:290001一步到位生产清洁液体燃料:只需太阳能和“人造树叶”
财联社5月22日讯(编辑黄君芝)据报道,英国剑桥大学(theUniversityofCambridge)化学系研究人员开发了一种基于“人造树叶”的太阳能技术,可以将二氧化碳和水转化为液体燃料,并能直接作为临时燃料驱动汽车发动机。站长网2023-05-25 01:37:190000