微软开源创新LoRA组合方法,增强文生图复杂细节控制
LoRA(低秩适应)的高效能力已在文生图领域获得广泛应用,可以准确渲染、融合图像中的特定元素,例如,不同字符、特殊服装或样式背景等,同时可对图像进行压缩、去噪、补全进行优化操作。
但想在模型中应用多个LoRA构建更复杂的图像时,会出现图像失真、难以控制细节的难题。因此,微软和伊利诺伊大学的研究人员开发了Multi-LoRA Composition(多重 LoRA 组合方法)。
该方法包括LoRA Switch和LoRA Composite两种,无需微调就能集成多个LoRA一起使用,并且能保持每个LoRA 的权重完整性。
研究人员使用GPT-4V对该方法进行了综合评测,结果显示,LoRA Switch 在图像合成质量方面表现出卓越的性能,而 LoRA Composite 在图像质量生成方面表现出色,并且随着LoRA数量的增长效果将更明显。
论文地址:https://arxiv.org/abs/2402.16843
Github地址:https://github.com/maszhongming/Multi-LoRA-Composition
项目地址:https://maszhongming.github.io/Multi-LoRA-Composition/
LoRA Switch
LoRA Switch的技术原理是在每一个消噪步骤中, 选择性地激活一个LoRA模型,同时在多个LoRA模型之间轮流切换,确保每个元素都能得到充分的渲染。
LoRA Switch主要由3大块组成:1)扩散模型,用于生成图像的基模型,并执行顺序消噪的过程;2)多个LoRA模型,每个LoRA模型专门渲染图像中的一个元素,例如,人物、服装、背景、风格等;
3)切换功能,用户控制在消噪步骤中,按需激活每一个LoRA模型。
LoRA Switch的底层运行机制包括:首先设置LoRA模型的激活顺序,如先后激活人物LoRA、服装LoRA、风格LoRA等。
然后从第一个LoRA模型开始生成图像,每隔N个消噪步骤就切换激活下一个LoRA。当切换完所有LoRA后,再从头开始新的一轮切换,直到图像最终生成。
例如,在虚拟试穿场景中,LoRA Switch会在连续的去噪步骤中轮换角色LoRA和服装LoRA,从而确保每个元素都以精确和清晰的方式呈现。
LoRA Switch可以确保每个元素都得到充分渲染,避免了直接融合LoRA权重矩阵时出现的不稳定问题,也可以灵活调整LoRA之间的切换速率,适应不同的场景。
LoRA Composite
LoRA Composite的技术原理是在每个消噪步骤计算每个LoRA的无条件和有条件分数估计。然后对这些分数进行平均,作为图像生成过程的指导。这样可以极大平衡不同LoRA的作用,实现更协调的成像合成。
LoRA Composite主要包括2大块:1)扩散模型,用于执行去噪流程;2)多个LoRA模型:对扩散模型的参数进行适应,每个LoRA负责渲染一个元素。
LoRA Composite在运行时,首先计算每个LoRA模型的无条件和条件分数估计,然后对所有LoRA模型的分数进行平均,得到一个综合分数。以这个综合分数作为指导,驱动扩散模型执行顺序消噪过程并逐步生成图像。
与LoRA Switch不同的是,LoRA Composite综合了所有LoRA,并直接影响扩散过程,而不是操纵权重矩阵。
LoRA Composite可以集成任意数量的LoRA,并突破了目前研究中通常只合并两个LoRA的技术限制。
评估数据集
研究人员还开发了首个面向LoRA组合图像生成的专业测试基准ComposLoRA。该基准包含6大类、22个LoRA模型,480个组合样本,可以全面评价不同的LoRA组合。
实验结果表明,在保证图像质量的同时,新提出的两种组合方法相比目前主流的LoRA融合技术,可以实现更协调、逼真的多元素图像生成效果。尤其是使用数量较多的LoRA组合时,生成高质量的效果更加明显。
带火淄博引爆抖音,本地生活直播榜藏了多少秘密?
2023年,万亿级本地生活市场硝烟再起,“新贵”不断涌现,挑战王者地位的同时,也在重塑行业生态与格局。抖音大力出奇迹,正在成为该市场的一支重要力量。谁是这场本地生活大混战的获益者?商家还是达人?那些百万粉丝、单场直播千万成交额的达人,他们又是谁?他们是如何做到的?接下来还有那些潜在机会?站长网2023-05-04 18:18:030001工信部:全球首个5G异网漫游试商用正式启动
据工信微报公众号消息,5月17日,在合肥举行的世界电信和信息社会日大会上,中国电信、中国移动、中国联通、中国广电联合宣布在新疆正式启动全球首个5G异网漫游试商用。据介绍,5G异网漫游是指,当所属运营商无5G网络覆盖时,用户可接入其他运营商的5G网络,继续使用5G服务。站长网2023-05-17 14:15:200000英伟达和 WPP 合作构建 AI 驱动的内容引擎:WPP 正转型为人工智能公司
WPP集团是一家总部位于伦敦、执行部位于爱尔兰都柏林的广告和公关服务跨国公司。它在全球110个国家拥有3,000个办事处,员工超过162,000人。该公司的业务范围包括广告、公共关系、游说、品牌形象与沟通。它是世界五大广告集团之一,其竞争对手包括电通、阳狮、Interpublic和宏盟集团。站长网2023-06-29 15:46:010000Sora团队深入解读视频生成模型 短期内不向公众开放
知名科技博主MKBHD日前专访了备受瞩目的Sora视频生成模型开发团队,就Sora的工作原理、当前发展状况及未来规划等进行了深入探讨。据了解,Sora由前OpenAI研究员BillPeebles、TimBrooks和DALL·E开发者AdityaRamesh组成。团队介绍,Sora是一款通过学习大量视频数据而能够生成逼真视频的AI模型,其灵活性和适应性都十分出色。站长网2024-03-13 15:17:530000OpenAI再遭作家起诉侵权,要求法院阻止其“非法商业行为”
据路透社报道,美国人工智能公司OpenAI最近再遭一批作家起诉,指控其在训练ChatGPT聊天机器人时,未经授权使用了他们的受版权保护作品。这些作家包括获得普利策奖的作家迈克尔·沙伯恩(MichaelChabon)、戏剧家大卫·亨利·黄(DavidHenryHwang)等。站长网2023-09-12 09:52:180000