中国 AI 研究提出全新多模态学习框架Meta-Transformer
站长网2023-07-24 15:44:460阅
传统的深度学习模型在处理不同数据形式时存在巨大的模态差异,需要进行大量的工作来构建一个能够处理各种输入形式的统一网络。不同数据模态之间存在显著差异,通常使用不同的网络拓扑来独立编码每种数据模态。然而,这需要耗费时间和精力。
为了解决这个问题,中国香港中文大学和上海 AI 实验室的研究人员提出了一种全新的多模态学习框架,称为 Meta-Transformer。Meta-Transformer 使用相同的参数集同时对十二种不同的模态进行编码,实现了更加集成的多模态学习方法。
Meta-Transformer 的框架包括三个组件:数据到序列标记的模态专家、跨模态提取表示的模态共享编码器,以及用于下游任务的任务特定头部。通过这种简单而有效的方法,Meta-Transformer 可以高效地训练任务特定和模态通用的表示。
研究人员在多个标准数据集上进行了大量的研究,结果表明 Meta-Transformer 在处理多模态数据方面表现出色,仅使用来自 LAION-2B 数据集的图片进行预训练就能在各种多模态学习任务中超越现有技术。
总之,Meta-Transformer 是一个独特的多模态学习框架,通过使用相同的参数集同时提取多个模态的表示,开辟了统一多模态学习的新方向。这一研究为统一各种模态的框架的发展提供了新的可能性。
0000
评论列表
共(0)条相关推荐
AI公司Cohere宣布计划明年将伦敦员工数量增加一倍
划重点:🔍Cohere计划在未来一年内将伦敦全球研究中心的员工数量翻倍,达到约50人。🔍顶尖AI研究人员WojciechGaluba加入由Cohere首席科学家PhilBlunsom领导的伦敦团队。🔍Cohere认为伦敦是重要的研究中心之一,并加大在该市场的团队建设力度。站长网2023-11-01 16:53:250000Bing 在搜索结果中添加 AI 生成的标题
划重点:Bing现在使用人工智能生成搜索结果的标题Bing利用GPT-4技术生成更相关和有信息量的搜索结果用户可以通过设置标签来阻止显示AI生成的标题Bing现在正在利用人工智能生成一些搜索结果的标题。Bing宣布,它正在使用GPT-4技术,以使搜索结果更相关和有信息量,帮助用户更快地找到他们正在寻找的网站。站长网2023-11-16 17:11:3600001stAI Machine:由Runway支持的AI生成视频硬件设备
1stAIMachine是一台由RunwayML软件支持的AI生成视频的硬件设备,由SGX和1stAveMachine的团队在马德里制作。该设备是一个原型,源于一个未成功的汽车广告概念,旨在将故事板和概念草图转化为具有独特风格的AI生成视频。站长网2023-11-14 16:50:390000Gradient融资1000万美元,开发者可定制开源语言模型
划重点:🚀Gradient融资1000万美元,用于扩大其云平台的采用,允许开发人员托管定制版本的开源语言模型。🤖开发人员无需从头开始编写人工智能应用程序,因为市场上有许多开源的预训练神经网络可用,但他们仍然需要设置和维护其开源AI模型运行的基础架构。🌐Gradient提供了一个专门设计用于托管开源大型语言模型的云平台,旨在自动化AI基础设施管理中的大部分手动工作。站长网2023-10-12 18:02:400000英伟达和 Amgen 支持 AI 制药公司 Generate 筹集 2.73 亿美元
利用人工智能(AI)探索新治疗方法的药物开发公司Generate:Biomedicines周四表示,该公司已从包括英伟达风险投资部门和Amgen在内的投资者那里筹集了2.73亿美元的资金。图源备注:图片由AI生成,图片授权服务商Midjourney站长网2023-09-15 10:19:260000