人形机器人+LLMs=? 答案就在这个2分钟视频里
图源备注:图片由AI生成,图片授权服务商Midjourney
你可以用自然语言与机器人交谈,并要求它完成一项任务。未来对机器人的控制可能会像骑马,你可以把AI看作是骑手,机器人的物理智能就是马。
当生成 AI 被植入数千个系统中时,迟早有一天也会来到人形机器人身上。
不过,Agility Robotics CEO Damion Shelton 最初并不相信它们的双足机器人需要这玩意儿。
就我们的用例而言,还没有让大型语言模型( LLM )控制机器人的需求。客户不需要和自己的机器人进行有趣的对话,他们需要借助机器人的物理原理替代重复性劳作。
当亚马逊于10月中旬开始测试 Agility Robotics 的双足机器人Digit 时,这位亮蓝色的自主「打工人」看起来也比实际情况更聪明。
「现实是,机器人还没有自我意识,它们现在甚至没有使用大型语言模型,」 Damion Shelton 当时说道。
仅仅两个月后,情况就发生了变化。
在本周三发布的两分钟「Embodied AI」演示中,升级后的 Digit 顺利完成工程师随意布置的口头任务。
我们很好奇,将这项技术集成到 Digit 中可以实现什么。为此,Agility Robotics 给 Digit 创建了一个演示空间。
视频中,机器人前方排列了四个不同高度的编号塔,身后也有三个不同高度的编号塔。后面的三个编号塔上,各有一个由几个不同特征(颜色、图案还有数字)定义的盒子。
工作人员给 Digit 编码了这些环境信息,但没有编码任何具体任务。接入能理解复杂自然语言命令的 LLM 后,Digit 能否顺利完成随机分配的任务?
视频中,机器人被告知将「达斯维达的光剑」颜色的盒子放到前面最高的塔上。
演示视频界面,左下角的叠加层显示了机器人的内心独白,右下角的叠加层显示了物理世界中3D 导航的情况。
Digit 并没有瞬间完成任务,而是深思熟虑地、慢慢进行着。
在 LLM (接受了流行文化参考资料的训练)赋能下,Digit 知道什么是「达斯维达的光剑」。
它会思考 「我应该找出可以使用的命令」,「应该首先评估环境,看看有哪些物品和位置可用」,以及「达斯维达的光剑是红色的,所以,红色的盒子是我需要移动的。」
移动到目标位置后,「我应该把红色盒子拿起来」。「现在有了红色盒子,我应该移动到前排最高的塔的位置,即编码是4的塔。」
机器人还知道,前排最高的塔是4号塔。「我将首先移动到红色盒子的位置。」
移动到目标位置后,机器人将光剑盒子放到了目标编码塔上。
最后,它宣布工作完成:「我相信我已经完成了任务,因为我已经将达斯维达的光剑颜色的盒子(红色,盒子2)移到了前排最高的塔楼(塔4)。
这个演示表明,LLM 能帮助机器人将抽象的人类命令转化为机器人可以理解的较低级别命令,因此,人们能够用自然语言与 Digit 交谈并要求它执行任务。
这也展示出 LLM 如何增强人形机器人、让它们变得更通用、部署更快。Agility Robotics 表示。这是一种自然的契合,并将 Digit 描述为「AI 的物理化身」。
这不仅让人想起 Damion Shelton 的一个比喻,他曾将机器人控制比作骑马, 「你可以把更高级的 AI 看作是骑手,机器人的物理智能就是马。」
目前,该公司正准备在俄勒冈州的一家大型生产工厂每年生产10,000个 Digit 机器人。
除了与亚马逊的合作之外,该初创公司本月还开始在佐治亚州的 Spanx 配送中心测试其人形机器人。
Agility 表示,公司自主系统能够大幅降低机器人适应新仓库和任务的成本。但 AI 功能将使这一过程变得更快,这意味着,机器人可以部署到更广泛的任务领域,并最终走出仓库。
有关 LLM 应用潜力的尝试是令人兴奋的—— 作为一种商用机器人系统,Digit 要与人类一起工作也需要学会倾听他们的声音。
一些顶尖大学、研究实验室和公司正在探索将更高级的智能形式嫁接到机器人身上,解决现有方法难以解决的复杂机器人问题。
卡耐基梅隆大学机器人学教授 Chris Atkeson 表示,开发人员正陷入一场激烈的竞争,以将最具吸引力、最有能力的智能体推向市场。
「无论谁先脱颖而出……都可能会占据大量市场份额,」他说。
今年早些时候,波士顿动力公司开始使用 ChatGPT 为其四足机器人 Spot 提供语音提示。
丰田研究所也在使用生成式 AI 加速机器人学习,不用改代码,只用较少的案例就能教会机器人更多的任务。到目前为止,他们已经教会机器人60种不同的技能。
最近,麻省理工学院 CSAIL 主任 Daniela Rus 也公开了自己的创业项目Liquid AI——通过一种新型神经网络结构,即使在移动机器人有限的硬件能力下,也能享受生成 AI 的魔力。
她指出,与模型预测解决方案相比,有了生成式 AI,可以得到更快、更流畅、更像人类的控制解决方案。
她认为,这是非常强大的。未来的机器人的行动不会那么机械,动作会更流畅,就像人类。
AI视野:王小川发布新大模型Baichuan53B;必应免费向用户提供DALL-E3;文心一言将再次升级
🤖📈💻💡大模型动态王小川发布新大模型Baichuan53B宣布闭源商业化王小川团队发布新的53B大模型,这是继Baichuan-7B和Baichuan-13B之后他们的第三个大模型产品,但与前两款不同,这次选择闭源。AiBase提要🚀53B模型规模达到530亿参数,是王小川团队到目前为止参数量最大的模型🔥53B模型结合了搜索技术,增强了对抗生成和时效性等方面的能力站长网2023-10-08 16:10:590000宁德时代发布“神行超充电池” 充电10分钟续航400公里
宁德时代宣布推出名为“神行超充电池”的新品,这是全球首款磷酸铁锂4C电池。该电池的特点是充电10分钟,续航400公里,即使在-10°C的低温环境下也能在30分钟内充至80%。神行超充电池采用了多项先进技术,包括超电子网正极技术、石墨快离子环负极技术、超薄SEI膜、超高导电解液配方和高效隔离膜等。这些技术使得电池的总续航里程可达700公里。站长网2023-08-16 15:58:400000Magi:可自动将漫画转录成文字 并自动生成剧本
划重点:📝Magi模型可以自动将漫画页转录成文字并生成剧本。📝功能包括面板检测、文本块检测、角色检测、角色聚类、文本到说话者关联、阅读顺序排序。📝项目还包含Mangadex-1.5M数据集,旨在解决漫画页面自动理解和剧本生成问题。牛津大学工程科学系的视觉几何组开发了一款名为Magi的模型,可以自动将漫画页转录成文字并生成剧本。站长网2024-03-12 12:16:100004人工智能利用简陋的X光胸透快速准确诊断心脏功能
据国外媒体报道,研究人员利用深度学习的人工智能模型,成功将简陋的胸部X光片转变为更强大的心脏诊断工具。他们表示,这种新方法可以快速、准确地评估心脏功能和检查疾病。胸部X光是最常用的放射学检查之一,也是医生们常用的诊断肺部和心脏疾病的方法。然而,由于X光是静态图像,无法提供关于心脏运作的详细信息,因此需要进行超声心动图检查。站长网2023-07-13 08:59:530000英伟达提出新技术Tied-LoRA 减少模型训练参数
要点:1.Nvidia的研究人员提出了一种名为Tied-LoRA的新技术,旨在改善低秩适应(LoRA)方法的参数效率。2.Tied-LoRA利用权重绑定和选择性训练,在性能和可训练参数之间寻找最佳平衡。3.在对不同任务和基础语言模型进行实验后,研究人员发现在效率和性能之间存在权衡,Tied-LoRA方法可以使用比标准LoRA方法少13%的参数获得相当的性能。站长网2023-11-24 13:59:540000