登陆注册
13648

Meta AI实验室推三项新AI项目庆祝成立十周年:Ego-Exo4D、Audiobox等

站长网2023-12-01 10:04:110

**划重点:**

1. 🌐 **Ego-Exo4D:** Meta发布支持视频学习和多模态感知的数据集,涵盖运动、音乐、烹饪等复杂人类活动,可用于增强现实、机器学习和社交网络。

2. 💬 **Seamless Communication:** 推出四个AI研究模型,旨在跨越语言界限实现更自然、真实的表达和快速翻译,包括保留语音表达和语境的SeamlessExpressive等功能。

3. 🎶 **Audiobox:** Meta的新音频生成模型,通过语音输入和自然语言文本提示生成声音和音效,以创造定制的音频文件,为研究人员和学术机构提供先进的音频生成研究支持。

为庆祝Meta基础人工智能研究(FAIR)团队成立十周年,公司隆重推出三个创新的人工智能项目,展示了引人注目的演示。

Ego-Exo4D:

官方项目介绍网址:https://ai.meta.com/blog/ego-exo4d-video-learning-perception/

该项目以数据集及基准测试的形式呈现,旨在支持视频学习和多模态感知的人工智能研究。由Meta的FAIR、Project Aria,以及来自全球15所大学的合作伙伴在两年内共同收集,Ego-Exo4D捕捉了佩戴Project Aria头戴设备的参与者的“自我中心”视角和周围摄像机的“外部中心”视角。

这一数据集聚焦于复杂的人类活动,如运动、音乐、烹饪、舞蹈和自行车维修。Meta认为,该数据集在增强现实系统、机器人学习以及社交网络等领域具有广泛应用前景。1,400多小时的视频数据将于12月以开源形式发布,并计划于明年进行Ego-Exo4D公开基准竞赛。

Seamless Communication:

官方项目介绍网址:https://ai.meta.com/blog/seamless-communication/

该项目旨在通过四个AI研究模型实现更自然、真实的跨语言交流。包括保留语音表达和语境的SeamlessExpressive,以及提供约两秒延迟的语音和文本翻译的SeamlessStreaming。此外,SeamlessM4T v2是一个多语言、多任务的模型,用于轻松实现语音和文本之间的交流。最终,Seamless将集成SeamlessExpressive、SeamlessStreaming和SeamlessM4T v2的功能于一个模型中。

Meta还发布了SeamlessExpressive的演示,用户可以在其中将其语音翻译成其他语言,增强了跨语言沟通的交互性。

官方演示网址:https://seamless.metademolab.com/expressive/

Audiobox:

官方项目介绍网址:https://ai.meta.com/blog/audiobox-generating-audio-voice-natural-language-prompts/

这是Meta全新的音频生成模型,通过结合语音输入和自然语言文本提示,能够生成声音和音效,从而更轻松地创建用于不同用途的定制音频文件。相比其前身Voicebox,Audiobox通过允许用户使用自然语言提示来创建所需的声音或语音类型,提供了更强的可控性。

Meta表示,该模型将首先提供给一组选择的研究人员和学术机构,以推动音频生成研究的发展,并确保人工智能的负责任发展。

这三个项目的推出标志着Meta FAIR团队十年来在人工智能领域取得的巨大成就,并为未来的技术发展和创新奠定了坚实基础。

0000
评论列表
共(0)条