DeepMind研发新AI项目Open-X Embodiment,可控制各种类型的机器人
文章概要:
- Google DeepMind与33家其他研究机构合作,开展了一个新项目,旨在创建通用型AI系统,可与不同类型的物理机器人一起工作,并执行多种任务。
- 他们提出的Open-X Embodiment项目结合了多个机器人类型的数据集和能够跨多种任务传递技能的模型,取得了比传统方法更好的训练效果。
- 研究人员基于Transformer深度学习架构开发了RT-1-X和RT-2-X模型,这些模型在各种任务中表现出色,对机器人领域的研究具有重要意义。
近日,Google DeepMind与33家其他研究机构合作推出了一个令人瞩目的新项目,旨在解决机器人领域的一个重大挑战:为每个机器人、任务和环境训练机器学习模型所需的巨大工作量。这个项目的目标是创建一个通用型AI系统,能够与不同类型的物理机器人协同工作,并执行多种任务。
Google Robotics的高级软件工程师Pannag Sanketi表示:“我们观察到,机器人通常擅长专业领域,但在通用性方面表现较差。通常情况下,您必须为每个任务、机器人和环境训练一个模型,更改一个变量通常需要从头开始。”
为了克服这一挑战,他们推出了Open-X Embodiment项目,引入了两个关键组成部分:一个包含多个机器人类型数据的数据集,以及能够在广泛任务范围内传递技能的模型系列。研究人员将这些模型在机器人实验室和不同类型的机器人上进行了测试,在训练机器人方面取得了卓越的结果,相比于传统方法,表现出更高的成功率。
这个项目的灵感部分来自于大型语言模型(LLMs),它们在大规模通用数据集上训练时,能够匹敌甚至胜过在狭窄任务特定数据集上训练的小型模型。令人惊讶的是,研究人员发现这一原则同样适用于机器人领域。
为了创建Open X-Embodiment数据集,研究团队收集了来自20个不同国家的22种机器人实体的数据,数据集包括超过500种技能示例和150,000个任务示例,总计超过100万个事件(事件是机器人每次尝试完成任务时执行的动作序列)。
与此数据集相配套的模型基于Transformer深度学习架构构建。RT-1-X是基于Robotic Transformer1(RT-1)构建的,它是一个用于实际机器人领域的多任务模型。RT-2-X则是基于RT-1的继任者RT-2构建的,它是一个视觉-语言-行动(VLA)模型,学习了来自机器人和Web数据的知识,可以响应自然语言指令。
研究人员在五个不同的研究实验室中使用五种常用的机器人对RT-1-X进行了各种任务的测试,结果表明,与为每个机器人专门开发的模型相比,RT-1-X在任务中表现出了50%更高的成功率,如拾取和移动物体以及打开门等。该模型还能够将其技能推广到不同的环境,而专门的模型适用于特定的视觉环境。这表明,在多种任务中,基于多样示例训练的模型表现出色。根据论文,该模型可以应用于各种机器人,从机械臂到四足动物。
RT-2-X在新任务和紧急技能方面比RT-2成功率高出三倍,尤其在需要空间理解的任务方面表现更好,例如区分在布料附近移动苹果和将其放在布料上的任务。
研究人员计划进一步研究如何将这些进展与DeepMind开发的自我改进模型RoboCat的见解相结合,RoboCat可以在不同的机械臂上执行各种任务,并自动生成新的训练数据来提高其性能。
他们已经开源了Open X-Embodiment数据集和RT-1-X模型的小版本,但没有开源RT-2-X模型。他们相信这些工具将改变机器人的训练方式,加速研究进展,促进机器人相互学习,以及研究人员之间的知识交流。机器人领域的未来在于使机器人能够相互学习,让研究人员互相学习。
弘玑Cyclone完成约4000万美元C+轮融资 加速AIGA研发落地
RPA软件和解决方案供应商弘玑Cyclone于7月完成约4000万美元的C轮融资。结合弘玑在2021年完成的1.5亿美金C轮融资,累计近两亿美金融资,创下同行业最高融资规模纪录。C轮由华兴资本担任独家财务顾问。本轮融资将主要用于AIGA(AIGeneratedAutomation即生成式自动化)企业级产品的研发落地、行业资源整合与市场拓展。站长网2023-08-04 11:06:510000谷歌寻求澳大利亚放宽规定 为AI数据挖掘提供版权豁免
日前,谷歌呼吁澳大利亚政府对用于人工智能训练模型的数据提供版权豁免——否则就有落后的风险。这家搜索巨头在提交的文件中发表了评论表示,应该引入人工智能的数据挖掘豁免。此类豁免将允许那些开发人工智能系统的人合法访问受版权保护的内容,以训练和构建系统。谷歌引用了GoogleTranslate等应用程序作为一个例子,说明有更多内置灵活性的版权框架有助于这些产品的开发,而澳大利亚目前缺乏这种灵活性。站长网2023-04-21 10:50:540000苔藓碳氮磷化学计量研究获进展
生物的养分元素含量与化学计量关系是认识与研究生态系统过程与功能的重要部分。然而,只有少数研究关注苔藓植物的养分含量与化学计量关系,制约了科学家对苔藓丰富的生态系统的认识、模拟与预测。站长网2023-05-24 11:01:170000西交大开源SadTalker模型 图片+音频秒变视频!
最近,西安交通大学的研究人员提出了SadTalker模型,通过从音频中学习生成3D运动系数,使用全新的3D面部渲染器来生成头部运动,可以实现图片音频就能生成高质量的视频。站长网2023-04-19 15:34:550001Faraday Future:Matthias Aydt将接替陈雪峰出任全球CEO
加州电动智能汽车公司FaradayFuture今天宣布,公司董事会已任命长期担任FF高管的MatthiasAydt为全球首席执行官,任命于2023年9月29日生效。同样从2023年9月29日起,现任全球首席执行官陈雪峰(XF)将恢复其之前的职位,担任FF中国首席执行官,并担任FF全球工业化副总裁。站长网2023-09-22 09:37:290000