登陆注册
7216

伯克利研究人员推出AI智能体Dynalang:可接收复杂指令

站长网2023-08-08 10:05:541

加州大学伯克利分校研究人员推出了一种名为 Dynalang 的智能体,这是一种通过在线体验获取世界语言和视觉模型的智能体,并利用该模型来理解人类行为。

由于世界建模与动作不同,Dynalang 可以在单一模式(纯文本或纯视频数据)上进行预训练,而无需活动或任务奖励。此外,语言生成的框架可能是统一的:代理的感知可以影响其语言模型(即,其对未来标记的预测),从而允许其通过在动作空间中生成语言来交流环境。他们在具有不同语言环境的广泛领域中测试 Dynalang。Dynalang 学习利用有关未来观察、环境动态和纠正的语言线索,以便在多任务房屋清洁环境中更快地完成家务。

论文地址:https://arxiv.org/abs/2308.01399

Dynalang 通过使用未来预测来将语言与视觉体验相连接,能够理解各种形式的语言以完成不同的任务。它在多任务的家庭清洁环境中学会使用语言提示来更快地完成任务,并且在 Messenger 基准测试中表现优于其他算法。Dynalang 还可以在视觉语言导航中接收复杂的指令,并展示了超越其他算法和任务特定架构的能力。

0001
评论列表
共(0)条