登陆注册
19747

新AI框架H2O:将人类动作实时转换为机器人动作 可行走、后空翻、踢球等

站长网2024-03-11 11:22:421

划重点:

1. 🔄 **框架介绍**:H2O(Human to Humanoid)是基于强化学习的框架,通过仅使用RGB摄像头实现了全尺寸人形机器人的实时全身遥控操作。

2. 🔄 **数据处理过程**:采用可扩展的“从模拟到实际”处理,通过特权模仿者筛选和选择可行的动作,构建了大规模的重定目标运动数据集。

3. 🔄 **实时遥操作实现**:在模拟环境中使用经过精炼的动作训练了鲁棒的全身机器人模仿者,并以零次试验方式将其转移到实际机器人,成功实现了在真实场景中的动态全身运动遥操作。

在最新的研究中,由卡内基梅隆大学的研究团队开发,提出了一种名为H2O(Human to Humanoid)的框架,通过强化学习实现了人对人形机器人的实时全身遥控操作。

该框架在仅使用RGB摄像头的条件下,成功地让人形机器人模仿并实时执行各种动态的全身运动,包括行走、后空翻、踢球、转身、挥手、推动、拳击等。

为了实现这一突破性的技术,研究团队提出了一种可扩展的“从模拟到实际”的处理过程,以构建大规模的人类运动数据集,为人形机器人提供实时遥操作的训练样本。在处理过程中,通过特权模仿者筛选和选择可行的动作,优化了人形机器人的身体模型,确保其对人类运动的高度还原性。

框架的核心包括三个关键阶段:首先,通过优化形状和运动参数,将SMPL(Skinned Multi-Person Linear model)身体模型与人形机器人的结构对齐,形成基础的运动数据集。其次,通过训练一个特权模仿策略,去除运动数据集中的异常和不可行的动作,生成更加真实和清晰的运动数据集。最后,通过在模拟环境中训练一个实时模仿策略,实现对人形机器人的零次试验遥操作。

实时遥操作的过程涉及使用RGB摄像头和姿势估计器捕捉人类运动,然后通过训练有素的模仿策略,使人形机器人能够即时模仿并执行这些运动。

这项研究不仅成功实现了全身运动的学习式实时遥操作,还展示了在真实世界情境中的应用,如左右踢球、递盒子、前行后跳、拳击等。据了解,这是首次在人形机器人领域实现了这一技术上的突破,为全新的人机交互和协作场景提供了有力的支持。

项目入口:https://top.aibase.com/tool/human-to-humanoid-h2o-

0001
评论列表
共(0)条