任意文本、视觉、音频混合生成,多模态有了强大的基础引擎CoDi-2
研究者表示,CoDi-2标志着在开发全面的多模态基础模型领域取得了重大突破。
今年5月,北卡罗来纳大学教堂山分校、微软提出一种可组合扩散(Composable Diffusion,简称CoDi)模型,让一种模型统一多种模态成为可能。CoDi 不仅支持从单模态到单模态的生成,还能接收多个条件输入以及多模态联合生成。
近日,UC 伯克利、微软 Azure AI、Zoom、北卡罗来纳大学教堂山分校等多个机构的研究者将 CoDi 升级到了 CoDi-2。
论文地址:https://arxiv.org/pdf/2311.18775.pdf
项目地址:https://codi-2.github.io/
论文一作 Zineng Tang 表示,「CoDi-2遵循复杂的多模态交错上下文指令,以零样本或少样本交互的方式生成任何模态(文本、视觉和音频)。」
图源:https://twitter.com/ZinengTang/status/1730658941414371820
可以说,作为一种多功能、交互式的多模态大语言模型(MLLM),CoDi-2能够以 any-to-any 输入-输出模态范式进行上下文学习、推理、聊天、编辑等任务。通过对齐编码与生成时的模态与语言,CoDi-2使 LLM 不仅可以理解复杂的模态交错指令和上下文示例, 还能在连续的特征空间内自回归地生成合理和连贯的多模态输出。
而为了训练 CoDi-2,研究者构建了一个大规模生成数据集,包含了跨文本、视觉和音频的上下文多模态指令。CoDi-2展示了一系列多模态生成的零样本能力,比如上下文学习、推理以及通过多轮交互对话实现的 any-to-any 模态生成组合。其中在主题驱动图像生成、视觉转换和音频编辑等任务上超越了以往领域特定的模型。
人类与 CoDi-2的多轮对话为图像编辑提供了上下文多模态指令。
模型架构
CoDi-2在设计时旨在处理上下文中的文本、图像和音频等多模态输入,利用特定指令促进上下文学习并生成相应的文本、图像和音频输出。CoDi-2模型架构图如下所示。
将多模态大语言模型作为基础引擎
这种 any-to-any 基础模型可以消化交错式模态输入,理解和推理复杂指令(如多轮对话、上下文示例),并与多模态扩散器交互,实现这一切的前提是需要一个强大的基础引擎。研究者提出将 MLLM 作为这个引擎,它的构建需要为仅文本的 LLM 提供多模态感知。
利用对齐的多模态编码器映射,研究者可以无缝地使 LLM 感知到模态交错的输入序列。具体地,在处理多模态输入序列时,他们首先使用多模态编码器将多模态数据映射到特征序列,然后特殊 token 被添加到特征序列的前后,比如「⟨audio⟩ [audio feature sequence] ⟨/audio⟩」。
基于 MLLM 的多模态生成
研究者提出将扩散模型(DM)集成到 MLLM 中,从而生成多模态输出,这里遵循细致入微的多模态交错指令和提示。扩散模型的训练目标如下所示:
接着他们提出训练 MLLM 以生成条件式特征 c = C_y (y),该特征被馈入到扩散模型中以合成目标输出 x。这样一来,扩散模型的生成损失被用来训练 MLLM。
任务类型
本文提出的模型在以下示例任务类型中显示出强大的能力,它提供了一种独特的方法来提示模型生成或转换上下文中的多模态内容,包括本文、图像、音频、视频及其组合。
1. 零样本提示。零样本提示任务要求模型在没有任何先前示例的情况下进行推理并生成新内容。
2. 一次/少量样本提示。一次或少量样本提示为模型提供了一个或几个示例,以便在执行类似任务之前从中学习。这种方法在以下任务中很明显:模型将学习到的概念从一个图像应用到另一个图像,或者通过理解所提供示例中描述的风格来创建一个新的艺术品。
(1)范例学习在要求模型将此学习应用于新实例之前,向模型显式显示期望输出的示例。
(2)概念学习涉及模型从这些给定示例的共享概念/属性中学习,例如艺术风格或模式,然后创建展示类似概念/属性的新内容。
(3)主题驱动的学习侧重于根据一组提供的图像生成新的内容。
实验及结果
模型设置
本文模型的实现基于 Llama2,特别是 Llama-2-7b-chat-hf。研究者使用 ImageBind ,它具有对齐的图像、视频、音频、文本、深度、thermal 和 IMU 模式编码器。研究者使用 ImageBind 对图像和音频特征进行编码,并通过多层感知器(MLP)将其投射到 LLM(Llama-2-7b-chat-hf)的输入维度。MLP 由线性映射、激活、归一化和另一个线性映射组成。当 LLM 生成图像或音频特征时,他们通过另一个 MLP 将其投射回 ImageBind 特征维度。本文图像扩散模型基于 StableDiffusion2.1(stabilityai/stable-diffusion-2-1-unclip)、AudioLDM2和 zeroscope v2。
对于需要更高保真原始输入的图像或音频,研究者还将原始图像或音频输入到扩散模型中,同时通过连接扩散噪声生成特征。这种方法在保留输入内容的最大感知特征方面尤为有效,添加新内容或改变风格等指令编辑也是如此。
图像生成评估
下图展示了 Dreambench 上主题驱动图像生成的评估结果和 MSCOCO 上的 FID 分数。本文方法实现了极具竞争力的零样本性能,显示了其对未知新任务的泛化能力。
音频生成评估
表5展示了音频处理任务的评估结果,即添加、删除和替换音轨中的元素。从表中可以明显看出,与之前的方法相比,本文方法表现出了卓越的性能。值得注意的是,在所有三个编辑任务中,它在所有指标 — 对数谱距离(LSD)、Kullback-Leibler(KL)发散和 Fréchet Dis- tance(FD)上都取得了最低得分。
Magi:可自动将漫画转录成文字 并自动生成剧本
划重点:📝Magi模型可以自动将漫画页转录成文字并生成剧本。📝功能包括面板检测、文本块检测、角色检测、角色聚类、文本到说话者关联、阅读顺序排序。📝项目还包含Mangadex-1.5M数据集,旨在解决漫画页面自动理解和剧本生成问题。牛津大学工程科学系的视觉几何组开发了一款名为Magi的模型,可以自动将漫画页转录成文字并生成剧本。站长网2024-03-12 12:16:100004一张图500元是目前AIGC最高“回报”?小冰李笛:调用API的商业模式不适用于未来 | MEET 2024
AIGC在商业界中,最大的一笔回报是多少?答案可能是:一张图片,500元。而且这就是发生在最近、号称人工智能著作权第一案的真实案例:A利用人工智能技术生成了一张图片,B盗用了这张图片,并在自己的文章中使用。法院最终判定,B侵犯了A的知识产权,并且需要向A支付500元的赔偿。0000Alteryx调查:31% 的企业使用生成式人工智能编写代码
本文概要:1.40%的数据分析领导者在工作中使用生成式人工智能,其中31%使用它来编写代码。2.大多数企业对AI感兴趣,但只有少数已经在使用中,并且在利用中寻求优化。3.企业对生成式AI的应用还存在一些担忧,包括数据隐私、结果可信度和专业知识不足等。站长网2023-08-21 16:19:120000百度文心一言响应速度一个月提高十倍 后台成本大幅降低
在昨日的人工智能专利运用助推产业发展论坛上,百度首席技术官(CTO)王海峰表示,百度是全球为数不多,进行全栈布局人工智能的公司。从高端芯片昆仑芯,到飞桨深度学习框架,再到文心预训练大模型,再到自动驾驶、小度、智能云等应用,都有领先业界的自研技术。站长网2023-04-27 08:33:210000小米回应雷军账号真实姓名叫刘伟:公关部同事帮注册的
站长之家(ChinaZ.com)1月12日消息:近日,多个平台纷纷要求社会时事、财经、法律、医疗等专业领域拥有100万粉丝以上的自媒体账号进行实名认证,进一步规范自媒体账号的运营管理。这一举措旨在维护网络信息的真实性和可信度,打击虚假信息的传播。其中,雷军微博账号前台实名认证姓名为“刘伟”引发争议。站长网2024-01-12 13:55:370001