机器人也不怕被忽悠瘸了(doge)
四足机器人走着走着突然断了一条腿,还能继续前进吗?
来自谷歌和密歇根大学的最新成果,给出了非常肯定的答案。
他们发明的一种叫做AutoRobotics-Zero(ARZ)的搜索算法,既不靠大模型,也不用神经网络,可以让机器人一旦遇到剧烈的环境变化,就立刻自动更改行动策略。
譬如断腿照样走:
相比之下,别的神经网络方法还是这样婶儿的(手动狗头):
英伟达AI科学家Jim Fan评价:
这个方法非常令人耳目一新。
机器人再也不怕被忽悠瘸了
具体如何实现?
让机器人断腿继续走的秘密
快速适应环境变化是机器人部署到现实世界中非常重要的一项技能。
但目前常用的循环神经网络(RNN)技术存在策略单一、重参数化导致推理时间长、可解释性差等问题。
为此,作者直接“另起炉灶”,基于AutoML Zero技术开发了这项全新的四足机器人环境自适应策略:AutoRobotics-Zero(ARZ)。
关于AutoML Zero,不熟悉的朋友再了解一下:
它是2020年诞生的一种“从零开始的自动机器学习”算法,出自谷歌大脑Quoc V.Le大神等人之手,仅使用基本数学运算为基础,它就能从一段空程序开始,自动发现解决机器学习任务的计算机程序。
在此,作者也将各种机器人行动策略表示为程序,而非神经网络,并仅使用基本的数学运算作为构建块,从头开始演化出可适应性策略及其初始参数。
随着不断的进化,该方法能够发现控制程序(即Python代码,如下图所示),从而在与环境互动的同时,利用感觉运动经验来微调策略参数或改变控制逻辑(也就是当随机分支在随机时间突然中断时运行新的分支)。最终就可以在不断变化的环境下实现自适应。
具体而言,ARZ的算法由两个核心函数组成:StartEpisode()和GetAction(),前者在机器人与环境交互的每个阶段开始时就开始运行,后者负责调整内存状态(因为策略被表示为作用于虚拟内存的线性寄存器)和代码修改。
在进化搜索上,ARZ则采用两种控制算法:负责多目标搜索的非支配排序遗传算法II(NSGA-II)和负责单目标搜索的正则化进化算法(RegEvo)。
如下图所示进化控制算法的评估过程,单目标进化搜索使用平均情节奖励作为算法的适应度,而多目标搜索优化了两个适应度指标:平均奖励(第一个返回值)和每次episode的平均步数(第二个返回值)。
以及作者介绍,为了预测动态环境中给定情况下的最佳行动,策略必须能够将当前情况与过去的情况和行动进行比较。
因此,ARZ所有策略都被设计为“有状态的”,即内存内容在一个事件的时间步长内是持续存在的,由此才得以完成自适应。
此外,有所不同的是,该方法还去掉了原始AutoML Zero技术中的监督学习模式,最终无需明确接收任何监督输入(如奖励信号)就可以让进化程序在整个生命周期内进行调整。
比神经网络更有效
作者用宇树科技的“莱卡狗”(Laikago)四足机器人模拟器在模拟环境中进行了效果测试。
最终,只有ARZ可以进化出在随机断腿情况下保持向前运动和避免摔倒的自适应策略。
相比之下,进行了全面超参数调整并使用最先进强化学习方法完成训练的MLP和LSTM基线都失败了:
要么不具有鲁棒性,不能每次都成功;
要么一次都没有成功过。
需要注意的,这还是在ARZ使用的参数和FLOPS比MLP和LSTM都少得多的情况下。
下图则是统计数据:只要任何一列中的reward<400就表示该腿的大多数测试都以摔倒告终。
我们可以再次看到,除了ARZ,只有MLP方法能够在右后腿成功一次。
除了以上这些,ARZ还显现出了目前的RNN技术都做不到的可解释性。
如图所示,它在断腿案例中发现的各种策略可以都符号化为如下表示:
最后,除了机器人断腿走路,ARZ还可以在“具有随机倾斜轨道的cartpole系统”中自动保持平衡。
论文地址:
https://arxiv.org/abs/2307.16890
腾讯字节进入“蜜月期”
开播一分钟,人气10w,开播八分钟拿下全站人气榜第一,开播十分钟点赞数过亿。1月21日晚,游戏主播张大仙在抖音开启《王者荣耀》首播。这也意味着腾讯和字节,两大互联网大厂时隔5年,正式破冰。从《元梦之星》到《王者荣耀》,近日腾讯不断加深与字节的合作,腾讯和字节的破冰会怎样搅动游戏行业?眼下,网易与腾讯的竞争又会因此发生怎样的变化?留不住的主播站长网2024-01-30 18:09:440000LongLoRA:提升LLM上下文能力的创新微调方法
要点:1.LongLoRA是一种创新的微调方法,可以显著增强大语言模型的上下文处理能力,而无需消耗大量算力资源。2.LongLoRA采用了两大步骤的高效微调方法,包括使用转变短注意力(S2-Attn)和有效扩大上下文的技巧,可以在不同任务上取得出色的结果。站长网2023-10-07 09:12:380001DevOpsGPT: AI自动完成软件开发 提高开发效率
DevOpsGPT是一个基于人工智能的软件开发自动化解决方案,将自然语言需求转化为可工作的软件。通过结合LLM(大型语言模型)和DevOps工具,DevOpsGPT极大地提高了开发效率,缩短了开发周期,并降低了沟通成本,从而实现了更高质量的软件交付。项目地址:https://github.com/kuafuai/DevOpsGPT核心功能:站长网2023-08-04 10:19:55000031款App侵害用户权益被通报 包括闲鱼、高德地图等
今日,工信部发布了《关于侵害用户权益行为的APP(SDK)通报(2024年第1批,总第36批)》指出,近期,组织第三方检测机构对用户反映突出的开屏弹窗“乱跳转”、“关不掉”以及违规收集使用个人信息等问题进行检查,共发现31款APP及SDK存在侵害用户权益行为。上述APP及SDK应按有关规定进行整改,整改落实不到位的,我部将依法依规组织开展相关处置工作。站长网2024-01-22 17:40:200000Alphabet 利润超出预期 将在谷歌改进后的 AI 搜索中引入广告
站长之家(ChinaZ.com)7月26日消息:Alphabet在周二公布的第二季度利润超出华尔街预期,谷歌母公司宣布其长期担任首席财务官的RuthPorat将担任新职务,而公司将寻找新的财务主管。站长网2023-07-26 11:33:160000