CHOIS:基于语言引导的合成逼真3D人机交互的AI方法
**划重点:**
1. 🌐 CHOIS是由斯坦福大学与FAIR Meta研究团队开发的AI系统,通过语言描述、初始状态和稀疏对象航点,实现了在3D场景中生成对象和人物同步运动的突破性方法。
2. 🚶♂️ 与先前集中于手部运动合成的方法不同,CHOIS关注在对象抓取之前的全身运动,并根据人体运动预测对象运动,为交互式3D场景模拟提供全面解决方案。
3. 📈 CHOIS通过使用条件扩散方法生成基于语言描述、对象几何和初始状态的同步对象和人体运动,通过评估显示在条件匹配、接触准确性等指标上的优越性,提高了在3D环境中生成逼真人物行为的能力。
斯坦福大学与FAIR Meta的研究人员合作开发的CHOIS系统,通过引入基于语言描述、初始状态和稀疏对象航点的方法,成功解决了在3D场景中生成对象和人物同步运动的难题。该系统通过在指定的3D环境中产生逼真且可控的运动,控制了人物与对象之间的交互。
CHOIS利用大规模高质量的运动捕捉数据集(如AMASS),推动了生成式人体运动建模的兴趣,包括动作条件和文本条件的合成。与以往使用VAE公式从文本生成多样人体运动的方法不同,CHOIS专注于人物与对象的交互。与侧重于手部运动合成的现有方法不同,CHOIS考虑了在对象抓取之前的全身运动,并根据人体运动预测对象运动,为交互式3D场景模拟提供了全面的解决方案。
CHOIS解决了在3D环境中合成逼真人物行为的重要需求,对计算机图形学、具身人工智能和机器人技术至关重要。该系统通过基于语言描述、初始状态和稀疏对象航点生成同步的人体和对象运动,应对了逼真运动生成、适应环境杂乱、以及从语言描述中合成交互的挑战,为在不同3D场景中可控的人物-物体交互提供了全面的系统。
在评估阶段,CHOIS系统与基线和消融模型进行了严格对比,展示了在条件匹配、接触准确性、减少手-物体穿透和脚浮动等指标上的卓越性能。在FullBodyManipulation数据集上,对象几何损失提升了模型的性能。在3D-FUTURE数据集上,CHOIS在新对象上的泛化表现优于基线和消融模型。人类感知研究突显了CHOIS在与文本输入对齐以及相比基线更优越的交互质量方面的优势。定量指标包括位置和方向误差,用于衡量生成结果与地面真实运动之间的偏差。
总体而言,CHOIS是一个基于语言描述和稀疏对象航点生成逼真人物-物体交互的系统。在培训过程中,该程序考虑了对象几何损失,并在采样过程中采用了有效的引导术语,以增强结果的逼真性。CHOIS学到的交互模块可以集成到一个管道中,用于基于语言和3D场景合成长期交互。CHOIS在生成与提供的语言描述一致的逼真人物-物体交互方面有了显著改进。
未来的研究可以探索通过整合额外的监督,如对象几何损失,以提高生成的对象运动与输入航点的匹配性。研究更先进的引导术语以强制执行接触约束可能会产生更逼真的结果。将评估扩展到多样的数据集和场景将测试CHOIS的泛化能力。进一步的人类感知研究可以提供有关生成交互的更深层次的洞察。将学到的交互模块应用于基于3D场景对象航点生成长期交互也将拓展CHOIS的适用性。
项目网址:https://lijiaman.github.io/projects/chois/
论文网址:https://arxiv.org/abs/2312.03913
机器人又拿下一种家务:10小时学会煮咖啡,仅需观看人类演示视频
上周斯坦福炒虾机器人炸场之后,又火了一个煮咖啡机器人。它的厉害之处在于通过观看人类的示范视频,仅需10小时端到端训练,就能学会并完全自主搞定这一任务。当然,更准确地来说是操作咖啡机:只见它打开机盖、放入咖啡包,再按下开始按钮,整个过程一气呵成,无需任何远程遥控。很快,一杯咖啡就可以端走享用:注意了,以上演示视频,没有任何加速处理。这就是该机器人目前可以达到的实际操作速度。0000HarmonyOS NEXT将于一季度开放 华为1月18日将举办鸿蒙相关活动
据国内媒体报道,华为将在1月18日举办一场关于鸿蒙系统的重要活动。届时,华为将揭秘鸿蒙生态的最新进展以及HarmonyOSNEXT的进阶篇章。此前,华为消费者业务CEO余承东曾透露,全新的HarmonyOSNEXT开发者预览版将在今年第一季度面向所有开发者开放,而此次活动或许就是这一重要时刻的正式揭晓。0000微软总裁:人工智能最令人担忧的问题是深度造假
微软总裁布拉德·史密斯周四表示,他对人工智能的最大担忧是深度造假(DeepFakes),看起来很逼真但内容是虚假的。随着OpenAI的ChatGPT的出现,深度造假成为普遍存在的问题。在华盛顿的一次演讲中,史密斯呼吁采取措施确保人们知道照片或视频何时是真实的,何时是真实的。由AI生成,可能用于不良目的。站长网2023-05-26 11:47:070000理想MEGA风阻系数仅0.215 预计12月正式发布
理想汽车发布公告称,理想MEGA具有全球最低的风阻系数,仅为0.215。理想汽车强调,理想MEGA不仅拥有出色的空气动力学性能,还配合了先进的高压纯电平台和超高的整车集成效率。这些技术手段的应用,使得这款纯电四驱MPV能够达到全球最低的能耗,每百公里只需15.9千瓦时。站长网2023-11-07 14:09:510000天猫精灵发布“未来精灵XGENIE”新品牌
阿里旗下的人工智能公司发布新品牌“未来精灵”,并宣布AliGenie6.0系统将由大模型全面驱动。新的品牌主唤醒词是“小灵,小灵”。同时,天猫精灵仍将作为产品线品牌和用户可用的唤醒词,此前服务承诺不会发生变化。这个系统将从一个天猫精灵变成一个具有差异化记忆和独特性的精灵,为每个用户提供个性化的智能助手。站长网2023-09-19 14:03:390000