谷歌推出通用AI代理:能自动执行600多种动作,游玩复杂3D游戏
谷歌DeepMind的研究人员推出了一种面向3D环境的通用AI代理——SIMA。
SIMA无需访问游戏的源代码,也不需要定制的API。只需要输入图像和用户提供的简单自然语言文本指令,SIMA就能像人类玩家一样执行走路、跑步、建造、打开地图等各种游戏中的操作。
为了测试、训练SIMA的性能,研究人员与8个游戏工作室合作,在《无人深空》、《模拟山羊3》、《Teardown》、《挖矿模拟器》等知名复杂3D游戏上进行了综合测试。
结果显示,用户只需要在游戏中提供简单的文本、图像提示,SIMA就能执行挖矿、开飞船、制作装备、打开外骨骼、搜集任务、爬楼梯等600多种基本操作,每个动作可以在大约10秒内完成。
技术报告:https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/sima-generalist-ai-agent-for-3d-virtual-environments/Scaling%20Instructable%20Agents%20Across%20Many%20Simulated%20Worlds.pdf
在游戏场景中测试AI代理是一个重要课题,与传统的沙盒2D方法不同的是,SIMA选择了操作、环境、视觉难度更高的3D游戏。
SIMA使用了大模型的训练方法,通过广泛的数据分布来识别那些复杂的动作,同时无需为每个新游戏设计特定的控制、观察模块,就能理解人类的文本指令,并将其转化为具体的行动。
多种大模型组成的“人体”
从SIMA的总体架构来看,由多种大模型组合而成像是在模仿人体。视觉感知模型充当“眼睛”、大语言模型充当“大脑”、建模规划模型充当“思维”、控制和执行模型充当“四肢”。
也就是说SIMA在接收到指令后,会用人的方式去思考、规划接收到的任务,然后再去执行。
视觉感知模型:视觉感知模块负责处理AI代理的图像观察,并提取关键信息以辅助语言指令的理解和环境的交互。该模块使用卷积神经网络(CNN)等深度学习技术对输入的图像数据进行处理和特征提取。
使得SIMA能够识别和分析图像中的物体、场景和空间位置等重要信息,以帮助AI代理更好地理解语言指令,并在虚拟世界中进行准确的交互和操作。
大语言模型:主要负责解析和理解输入的自然语言指令。使用了NLP、词嵌入、序列模型和注意力机制等技术,将语言指令转化为机器可理解的表示。
使得AI代理能够准确地理解和解释指令中的动作和目标,为后续的建模和规划提供基础。
建模规划模型:通过强化学习和规划算法,与环境的交互和反馈来学习最佳的行动策略。AI代理通过不断尝试和优化,逐渐掌握了在不同环境下执行任务的能力。
可根据语言指令、视觉感知信息和当前环境状态,生成有效的动作序列,以实现任务的完成。
控制和执行模型:主要负责将生成的动作序列转化为实际的动作控制指令,并映射到键盘、鼠标上,以驱动AI代理在3D游戏中执行任务,例如,移动、跳跃、奔跑、挖矿等,同时可根据环境的反馈进行自适应调整和优化。
数据收集和预处理
数据收集和预处理是SIMA的核心模块之一,主要获取、准备和处理用于训练和评估AI代理的数据。
研究人员从商业游戏等环境搜集了海量数据,搜集完成后对数据进行了清洗、转换和标准化数据操作,方便后续的训练和分析。
数据清洗:对原始数据进行去噪和异常值处理,可能会存在一些噪声或异常数据,例如,图像中的视觉干扰或语言指令中的错误字符。研究人员通过采用图像去噪和文本纠错的方式,来消除这些干扰因素。
数据转换:在进行训练之前,需要将原始数据转换为机器可处理的格式。图像数据,可以使用图像处理技术进行特征提取或缩放操作,以便于模型的训练和推理;
文本数据,可以进行词汇化、分词和编码等处理,将其转换为数值表示形式输入到深度学习模型中。
数据标准化:为了确保数据的一致性和可比性,需要对数据进行标准化处理。包括对图像进行归一化或标准化,以使其具有相似的亮度、对比度和颜色分布。对于文本数据,可以进行词干化、停用词移除和词向量化等操作。
经过一系列数据清洗、转换、标准化后,可以帮助SIMA更好地去学习游戏中的物体、动作、交互等,从而提升整体的动作指令准确率。
研究人员表示,未来,会持续迭代SIMA的通用代理能力,希望可以在实际生活中帮助用户做更多的事情。
华为李鹏:到 2025 年智能算力需求将达到目前水平的 100 倍
在第十四届全球移动宽带论坛上,华为高级副总裁、运营商BG总裁李鹏表示,大模型为代表的AI应用发展带来对智能算力的爆发式需求。站长网2023-10-11 17:37:560002流量时代的眼泪!号称无网不蹭的WiFi万能钥匙,为什么无人问津了
在手机常量化的时代,不知道大家有没有发现,流量这个词好像离我们越来越远了。这并非是一种错觉,事实上现在的流量套餐月租流量早就不是十几年前能比了,在这个10G流量都算少的现在,我们很难想象,曾经30M的流量也会用不完。站长网2023-05-23 10:26:250001联发科董事长蔡明介:想象力、创造力与情感表达是 AI 无法取代的
据udn消息,进入AI时代,AI应用范围愈来愈广泛,联发科董事长蔡明介在为小学生写作集写序时指出,虽然AI工具已经可以帮助人们撰写履历、自传和回答编程问题等,但是拥有丰富想象力和创造力、能够清楚地理解和表达情感,并从中获得启示和智慧等能力是AI所无法取代的。站长网2023-07-18 16:35:020000一文回顾视频号2023:百万粉账号数量翻倍,服饰珠宝成直播电商主力
各位内容朋友们,大家过年好!最近大家是不是被各种红包封面刷屏了?在这个特别的日子,新榜编辑部先送上1000个龙年限定红包,先到先得,祝愿各位龙年妙笔生花,条条爆款!春节作为每年固定的大热话题,对微信视频号来说也是重点的增长节点。近日微信再次向个人用户开放红包封面的免费制作渠道,前提依然是要先发视频号。这样的全民限时活动,无疑会进一步带动视频号的用户活跃度。站长网2024-02-11 12:58:220000这届惜命的年轻人,想把医院“搬”回家
大众健康管理意识不断强化,以往的“被动治疗”观念正在逐步转变为“主动健康”,形成了预防为主、防治结合的健康管理理念。诊疗场景从医院延伸到家庭,“诊疗家庭化”的发展势头旺盛。诊疗家庭化,首先是场景的革命。相比传统的医院、诊所场景,家庭成为用户治疗、康复、护理、调养的微型诊疗单元。站长网2023-06-10 03:09:500000