GenEM:利用大语言模型实现机器人行为的生成表达
**划重点:**
- 🤖 **挑战与需求:** 人机交互领域存在着许多挑战,其中之一是使机器人展示类似于人类的表达行为,特别是在多样化社交情境中。
- 🔄 **传统方法的限制:** 传统的基于规则和基于数据的方法在新的社交环境中需要更大的可扩展性,但数据驱动方法受到数据集的限制。
- 🔍 **GenEM方法:** Google DeepMind 和多伦多大学的研究人员提出了Generative Express Motion(GenEM)方法,专注于利用大型语言模型生成机器人的表达行为。
在人机交互领域存在许多挑战,其中之一是使机器人展示类似于人类的表达行为。传统的基于规则和基于数据的方法在新的社交环境中需要更大的可扩展性,而数据驱动方法受到数据集的限制。为了应对这一挑战,研究人员提出了Generative Express Motion(GenEM)方法,专注于利用大型语言模型(LLMs)生成机器人的表达行为。
GenEM方法利用LLMs提供的丰富社交背景,创造出适应性强、可组合的图形机器人运动。它采用少样本思维链激励,将人类语言指令转化为参数化的控制代码,使用机器人已有的和学到的技能。
行为生成包括多个步骤,从用户指令开始,最终生成机器人执行的代码。为了评估该方法,研究考虑了两项用户研究,将生成的行为与由专业动画师创建的行为进行比较。该方法在表达力和机器人行为的适应性方面优于传统的基于规则和基于数据的方法。研究人员还利用用户反馈来更新机器人的策略参数,并通过组合现有行为生成新的表达行为。
两项用户研究证明了GenEM的有效性,显示生成的行为被认为是有能力和可理解的。通过使用移动机器人和模拟四足动物进行的仿真实验表明,该方法优于直接将语言指令翻译成代码的版本。它还允许生成对机器体系结构不可知且可组合的行为。
GenEM利用LLMs的研究在机器人领域取得了显著的进展,展示了自主生成富有表现力、适应性强和可组合的机器人行为的能力。这一方法突显了LLMs在机器人领域的潜力,强调了它们通过自主生成富有表现力行为来促进有效的人机交互的作用。
一张照片生成3D头像!苹果新模型击败StyleGAN2,表情光线都能调,网友:要用于MR?
随便一张照片,就可生成3D头像。而且光线真实,任意角度可调。这是苹果的最新黑科技生成框架FaceLit。正如其名,FaceLit的特色就是可以将人脸“点亮”。“自带光环”的FaceLit在易用性上也不输同类,甚至更胜一筹——进行3D建模时,需要的照片素材无需专门选择角度,数量上也只需一张。甚至对表情、发型、眼镜等元素进行调节时,也不需要额外素材。站长网2023-05-02 15:43:020000对标Gen-2!Meta发布新模型,进军文生视频赛道
随着扩散模型的飞速发展,诞生了Midjourney、DALL·E3、StableDifusion等一大批出色的文生图模型。但在文生视频领域却进步缓慢,因为文生视频多数采用逐帧生成的方式,这类自回归方法运算效率低下、成本高。即便使用先生成关键帧,再生成中间帧新方法。如何插值帧数,保证生成视频的连贯性也有很多技术难点。站长网2023-12-05 09:09:250002索尼光喻LYT-900图像传感器官宣 采用1英寸大底
索尼旗下品牌光喻LYTIA今日公布了新款传感器LYT-900,宣称其将重新定义图像传感器的性能天花板。据介绍,这款传感器采用了1英寸超大底,拥有高达5000万像素,并且每个像素的尺寸达到1.6m。这意味着它能够在低光照条件下捕捉到更多的细节,同时保证高画质拍摄。站长网2023-12-11 14:43:570001CPU、GPU、NPU,究竟谁才是“AI PC”的主角?
众所周知,如今“AIPC”可以说是消费电子行业最为热门的话题之一。对于一些不太了解技术细节,但却对这个概念心向往之的消费者而言,他们相信“AIPC”可以更智能地帮助自己完成一些不熟练的操作,或是减轻日常工作的负担。但对于像我们这样,对“AIPC”既抱有极高期待、但同时又相对比较了解的用户来说。很多时候思考的其实是AIPC早就出现了,可为什么到现在才被真正推行起来?站长网2024-03-16 20:12:440000小红书的“买手”电商,远水难解近渴
可能没有人想到,今年双十一的第一份成绩单来自小红书。10月15号,小红书“买手”章小蕙直播带货当场销售额破亿,是小红书首位销售额破亿的“买手”。数据显示,共有26个品牌的销售额超过100万元,有5个品牌销售额超过500万元,累计观看人数125万。章小蕙是小红书的“买手”电商中成绩最亮眼的头部“玩家”,而“买手”电商是小红书讲的新故事,目前看来这个新故事说得不错。站长网2023-11-03 11:22:330000