研究表明:大语言模型从人类反馈中学得更快更智能
划重点:
1. 🧠 大型语言模型(LLMs)通过在线上下文学习展现了广泛的机器学习能力,使非专家能够通过语言指令编写机器人代码,根据反馈修改行为或组合执行新任务。
2. 🔄 通过Language Model Predictive Control(LMPC)框架,研究团队成功通过对机器人代码编写LLMs进行微调,提高其适应人类输入的效率,从而加速学习过程。
3. 🤖 实验证明,LMPC不仅提高了未见任务的成功率,还通过优化适应性和响应性,为多轮对话中的机器人适应性学习提供了强大支持。
近期研究表明,大型语言模型(LLMs)在通过在线上下文学习方面表现出许多强大的能力,其中包括从语言命令中编写机器人代码的技能。这使得非专家用户能够直接指导机器人行为,根据反馈进行修改,甚至组合行为以执行新任务。然而,这些能力主要限于短期交互,因为用户的反馈只在LLM上下文大小范围内保持相关,且在较长时间的交互中可能被遗忘。
为了解决这一问题,研究团队着手对机器人代码编写LLMs进行微调,以记住其上下文交互并提高其可教学性,即它们对人类输入的适应效率(以用户认为任务成功之前的平均更正次数为度量)。
研究观察到,当将人机交互形式化为部分可观察的马尔科夫决策过程时(其中人类语言输入是观察值,而机器人代码输出是动作),训练LLM以完成先前的交互可以被视为训练一个过渡动态模型。这个模型可以与经典的机器人技术结合使用,如模型预测控制(MPC),以发现通往成功的更短路径。这就是Language Model Predictive Control(LMPC)框架的产生,通过对PaLM2进行微调,它在5个机器人实体上的78个任务中提高了未见任务的非专家教学成功率,同时将人类更正的平均次数从2.4降低到1.9。
LMPC的成功在于其对用户教学新任务的成功率提高了26.9%,同时在未见机器人实体和API上的实验中,通过提高上下文学习新任务的成功率,提高了31.5%。通过LMPC-Rollouts和LMPC-Skip这两个变体,研究团队加速了机器人通过上下文学习进行快速适应的能力。实验证明LMPC-Rollouts在多轮对话中更具通用性,对于首次响应不正确的反馈更易于纠正。为了最大程度地提高实际性能,研究建议使用LMPC-Skip来响应初始用户指令,然后使用LMPC-Rollouts来响应后续用户反馈。
研究团队在78个机器人任务中进行了实验,覆盖了5个机器人实体的模拟环境和2个真实硬件实体。实验中探讨了微调策略对在线上下文学习的影响,包括提高教学效果、LMPC-Rollouts和LMPC-Skip的比较、Top-User Conditioning的好处、微调是否实现跨机器人实体的泛化以及迭代微调是否进一步提高可教学性。
在真实世界中,研究团队对移动操纵器和机器狗的子集任务进行了评估,要求用户直接在真实机器人上进行四次教学会话。结果显示,LMPC-Rollouts在所有任务上的成功率均高于PaLM2-S。尽管在这些任务上,PaLM2-S和LMPC-Rollouts的成功会话的平均聊天轮次大致相同,但LMPC-Rollouts取得了更高的成功率。
通过实际演示,研究团队展示了他们的系统如何教授多个机器人实体复杂的行为,同时还展示了在教学前后机器人行为的显著差异。这个创新的方法不仅在模拟环境中取得了显著成果,而且在真实机器人上也取得了令人瞩目的效果。
这项研究通过LMPC框架的应用,成功提高了机器人代码编写LLMs的可教学性,为人机交互中机器学习的快速适应性开辟了新的道路。
论文网址:https://robot-teaching.github.io/
AI大模型哪家强?七大维度横评四款主流大模型!
2023年是大模型风潮大起的一年,目前市面上,文心一言、讯飞星火、通义千问等诸多国产大模型已经开放内测许久,这些大模型的技术能力以及由此带来的用户体验感均有所不同。国内国外百模大战之下,哪个大模型更强大,在各方面能力表现如何引人好奇。站长网2024-02-02 11:41:260000飞书公布AI助手“My AI” 可做会议纪要、创办待办事项等
日前,字节跳动旗下办公软件飞书公布了AI助手「MyAI」。从官方演示来看,MyAI类似微软推出的OfficeCopilot,可为用户做会议纪要、自动创办待办事项、一键整理销售报告、对齐OKR等等,均通过自然语言交互完成。站长网2023-04-12 14:48:410000AI生成的图像获得摄影大奖 但摄影师拒绝领奖
德国艺术家鲍里斯·埃尔达格森(BorisEldagsen)在承认获奖图像是使用人工智能生成后,拒绝接受索尼世界摄影奖创意公开组的奖项。注:图为获奖的AI作品世界摄影组织表示,埃尔达格森在被宣布为获胜者之前已经确认在他的图像中使用了人工智能。该组织表示,它一直期待着就该主题进行讨论,并已准备好与Eldagsen进行问答的问题。站长网2023-04-18 16:06:170000如何查看手机是哪年生产的!
今天正在看头条新闻,看到了关于华为P60的相关文章,突然想换手机了。但现在手里的手机还能用,都是华为P系列,没有卡顿,反应慢的现象。所以我就想查一查手机是哪年出厂的,后面经过研究发现,还很有意思。现在分享给大家。因为我用的是华为手机,所以就以鸿蒙系统为例,其它安卓或苹果系统参照类似相关设置进行查询!首先,打开关于手机页面,进入手机设置页面,打开关于手机页面。打开状态信息页面0000研究:代码数据增强技术在深度学习中的应用具有巨大潜力
要点:1、代码数据增强技术在深度学习中的应用具有巨大潜力,能够提高模型性能和稳健性。2、代码数据增强面临着独特的挑战,包括代码的特殊性和多模态特性,但已经取得了一些令人鼓舞的成果。3、代码数据增强方法主要分为基于规则的技术、基于模型的技术和示例插值技术,每种方法都有其特点和适用场景。站长网2023-11-23 15:04:560000