文生图新SOTA!Pika北大斯坦福联合推出RPG,多模态助力解决文生图两大难题
【新智元导读】近日,北大、斯坦福、以及Pika Labs发布了新的开源文生图框架,利用多模态LLM的能力成功解决文生图两大难题,表现超越SDXL和DALL·E3
近日,北大、斯坦福、以及爆火的Pika Labs联合发表了一项研究,将大模型文生图的能力提升到了新的高度。
论文地址:https://arxiv.org/pdf/2401.11708.pdf
代码地址:https://github.com/YangLing0818/RPG-DiffusionMaster
论文作者提出了一个全新的免训练文本到图像生成/编辑框架,利用多模态大语言模型(MLLM)强大的思维链推理能力,来增强文本到图像扩散模型的组合性。
简单来说,就是能让文生图模型在面对「多个属性和关系的多个对象的复杂文本提示」时表现更出色。
话不多说,直接上图:
A green twintail girl in orange dress is sitting on the sofa while a messy desk under a big window on the left, a lively aquarium is on the top right of the sofa, realistic style.
一个穿着橙子连衣裙的绿色双马尾女孩坐在沙发上,左边的大窗户下是一张凌乱的办公桌,沙发右上方是一个活泼的水族馆,现实主义风格。
面对关系复杂的多个对象,模型给出的整个画面的结构、人与物品的关系都非常合理,使观者眼前一亮。
而对于同样的提示,我们来看一下当前最先进的SDXL和DALL·E3的表现:
再看一下新框架面对多个对象绑定多个属性时的表现:
From left to right, a blonde ponytail Europe girl in white shirt, a brown curly hair African girl in blue shirt printed with a bird, an Asian young man with black short hair in suit are walking in the campus happily.
从左到右,一个穿着白色衬衫、扎着金发马尾辫的欧洲女孩,一个穿着印着小鸟的蓝色衬衫、棕色卷发的非洲女孩,一个穿着西装、黑色短发的亚洲年轻人正开心地在校园里散步。
研究人员将这个框架命名为RPG(Recaption,Plan and Generate),采用MLLM作为全局规划器,将复杂图像的生成过程分解为子区域内多个更简单的生成任务。
文中提出了互补的区域扩散,实现区域组合生成,还将文本引导的图像生成和编辑以闭环方式集成到了RPG框架中,从而增强了泛化能力。
实验表明,本文提出的RPG框架优于目前最先进的文本图像扩散模型,包括DALL·E3和SDXL,尤其是在多类别对象合成以及文本图像语义对齐方面。
值得注意的是,RPG框架可以广泛兼容各种MLLM架构(如MiniGPT-4)和扩散骨干网络(如ControlNet)。
RPG
当前的文生图模型主要存在两个问题:1. 基于布局或基于注意力的方法只能提供粗略的空间引导,并且难以处理重叠的对象;2. 基于反馈的方法需要收集高质量的反馈数据,并产生额外的训练成本。
为了解决这些问题,研究人员提出了RPG的三个核心策略,如下图所示:
给定一个包含多个实体和关系的复杂文本提示,首先利用MLLM将其分解为基本提示和高度描述性的子提示;随后,利用多模态模型的CoT规划将图像空间划分为互补的子区域;最后,引入互补区域扩散来独立生成每个子区域的图像,并在每个采样步骤中进行聚合。
多模态重新调整
将文本提示转换为高度描述性的提示,提供信息增强的提示理解和扩散模型中的语义对齐。
使用MLLM来识别用户提示y中的关键短语,获得其中的子项:
使用LLM将文本提示符分解为不同的子提示符,并进行更详细的重新描述:
通过这种方式,可以为每个子提示生成更密集的细粒度细节,以有效地提高生成图像的保真度,并减少提示和图像之间的语义差异。
思想链规划
将图像空间划分为互补的子区域,并为每个子区域分配不同的子提示,同时将生成任务分解为多个更简单的子任务。
具体来说,将图像空间H×W划分为若干互补区域,并将每个增强子提示符分配给特定区域R:
利用MLLM强大的思维链推理能力,进行有效的区域划分。通过分析重新获得的中间结果,就能为后续的图像合成生成详细的原理和精确的说明。
补充区域扩散
在每个矩形子区域内,独立生成由子提示引导的内容,随后调整大小和连接的方式,在空间上合并这些子区域。
这种方法有效地解决了大模型难以处理重叠对象的问题。此外,论文扩展了这个框架,以适应编辑任务,采用基于轮廓的区域扩散,从而对需要修改的不一致区域精确操作。
文本引导的图像编辑
如上图所示。在复述阶段,RPG采用MLLM作为字幕来复述源图像,并利用其强大的推理能力来识别图像和目标提示之间的细粒度语义差异,直接分析输入图像如何与目标提示对齐。
使用MLLM(GPT-4、Gemini Pro等)来检查输入与目标之间关于数值准确性、属性绑定和对象关系的差异。由此产生的多模态理解反馈将被交付给MLLM,用于推理编辑计划。
我们来看一下生成效果在以上三个方面的表现,首先是属性绑定,对比SDXL、DALL·E3和LMD :
我们可以看到在全部三项测试中,只有RPG最准确地反映了提示所描述的内容。
然后是数值准确性,展示顺序同上(SDXL、DALL·E3、LMD 、RPG):
——没想到数数这件事情对于文生图大模型还挺难的,RPG轻松战胜对手。
最后一项是还原提示中的复杂关系:
此外,还可以将区域扩散扩展为分层格式,将特定子区域划分为更小的子区域。
如下图所示,当增加区域分割的层次结构时,RPG可以在文本到图像的生成方面实现显著的改进。这为处理复杂的生成任务提供了一个新的视角,使我们有可能生成任意组成的图像。
参考资料:
https://arxiv.org/pdf/2401.11708.pdf
创造新纪录,他们打响抖音电商“双11”第一枪
“有多少人是冲着胶原棒来到直播间的?”“今天下午3点,我们已经打破了次抛的吉尼斯世界销售记录!”“从它默默无闻,到现在大火,我一直在推荐,感谢品牌今天愿意给我地板价。”10月29日,抖音电商作者@搭搭进行了一场长达12小时的可复美专场带货直播,在众多用户和吉尼斯官方的见证下,成功打破次抛销量的世界纪录。搭搭只是众多勤奋经营、在抖音电商“双11”期间收获优异成绩的电商主播之一。站长网2023-10-31 18:19:480000微软Windows停止支持Cortana 并专注于生成式 AI
概要:1.微软宣布将停止支持Windows上的Cortana,转而专注于生成式AI。2.Cortana将在OutlookMobile、TeamsMobile和MicrosoftTeams等应用中继续可用。3.微软计划在Windows11中引入新的AI功能,如Windows11语音访问和AI驱动的Bing。站长网2023-08-07 16:36:550000IMF 国际货币基金组织官员警告:人工智能可能会「严重破坏」就业市场
IMF高级官员警告称,生成式人工智能可能对劳动力市场造成「重大的干扰」,并呼吁决策者迅速制定规则来管理这项新技术。国际货币基金组织(IMF)副总裁GitaGopinath特在接受《金融时报》采访时表示,基于ChatGPT等大型语言模型的人工智能突破可能提高生产力和经济产出,但她警告称风险「非常大」。站长网2023-06-07 19:12:170000OpenAI表示将继续免费提供ChatGPT,不追求快速盈利
文章概要:OpenAI在其网站上发布了一份“严肃的解释”,以反驳有关该公司的错误信息并澄清其使命。OpenAI表示,其使命是继续开发至少与人一样聪明、造福全人类的人工智能,同时限制员工和投资者的经济收益。OpenAI强调ChatGPT将保持免费,并且预计不会在“不久的将来”实现盈利。站长网2023-10-14 14:35:000000最「卷」的618,9块9和1元购成主角
日历已经撕去一半的618,呈现出不同的变化。淘宝天猫的戴珊,京东的许冉,抖音的魏雯雯和拼多多的阿布这4位女性掌门首次正面交锋,但本应激烈的战场却显得有些静悄悄:在预售阶段迎来了开门红的平台们并没有和往年一样大张旗鼓地宣传耀眼的GMV(平台交易额),社交平台也很少讨论各位超头主播的成绩。站长网2023-06-12 17:13:030000