ContorlNet作者的研究!LayerDiffusion可生成商业素材级别透明PNG图片
划重点:
⭐️ 一个非常有意思的项目可以用 SD 直接生成透明的 PNG 图片,也可以直接生成带有透明度分层的图片。
⭐️ LayerDiffusion使得大型已经过预训练的潜在扩散模型能够创造透明图像。
⭐️ 这项技术不仅可以生成单独的透明图像,还能生成多层透明图层,拥有多种应用场景。
用于生成图像的大规模模型已经成为计算机视觉的基础而图形,令人惊讶的是,很少有研究关注分层内容生成或透明图像生成。这种情况与巨大的市场需求形成鲜明对比。
ContorlNet的作者研究了一款名为LayerDiffusion项目,使得大型已经过预训练的潜在扩散模型(latent diffusion model)能够创造透明图像。LayerDiffusion可以用 SD 直接生成透明的 PNG 图片,也可以直接生成带有透明度分层的图片。
它通过一种被称为“潜在透明度”的方法,将透明度(即 alpha 通道)整合到预训练的潜在扩散模型的潜在结构中。这样做的好处是,它通过以潜在偏移的形式加入透明度,几乎不改变模型原有的潜在分布,从而保持了模型的高质量输出能力。基于这种方法,任何一个潜在扩散模型都可以通过对潜在空间的微调,转化为透明图像生成器。
研究人员在训练模型时采用了涉及人机互动的方法,收集了大量透明图像层数据。研究结果显示,潜在透明技术不仅可以应用于各种开源图像生成器,还可以适配多种条件控制系统,实现不同应用场景下的层生成和结构控制。
研究显示,这种潜在透明技术不仅可以应用于不同的开源图像生成器,还可以适配多种条件控制系统,实现例如基于前景/背景条件的层生成、层的联合生成、对层内容进行结构控制等多种应用。
一项用户研究发现,大多数情况下(97%),相比于之前的临时解决方案(如先生成图像再进行抠图处理),用户更喜欢我们直接生成的透明内容。用户还表示,生成的透明图像在质量上可媲美真实的商业级透明素材,例如 Adobe Stock 提供的素材,展现出技术的强大和实用性。
论文入口:https://arxiv.org/pdf/2402.17113.pdf
Adobe 宣布 Firefly Web 服务现已在全球推出:支持中文等 100 种语言的文本提示
今年5月,Adobe在Photoshop中推出了Firefly生成式人工智能,为这款流行软件提供了「创意副驾驶」。现在,Firefly(仍处于测试阶段)正在大规模扩展。Adobe今天宣布其FireflyWeb服务现已在全球推出,支持100种语言的文本提示。用户界面现在支持20种语言,包括德语、法语、日语、西班牙语和巴西葡萄牙语。站长网2023-07-14 16:01:160002支付宝“集五福”活动升级为“五福节” 新增短视频3亿红包
支付宝宣布今年的“集五福”活动升级为“五福节”,将于1月29日开启,并推出四大AI玩法:飙戏小剧场、时空照相馆、会说话的红包和大家来找福。此外,五福节还新增了五福年货节和过年天天乐等新内容。除了除夕夜瓜分5亿奖金的保留节目外,在五福节期间,用户可以在支付宝上观看短视频并瓜分3亿红包,使用福卡兑换商品,涵盖300个商家小程序。站长网2024-01-23 15:02:190000Stability AI推代码生成开源语言模型StableCode 支持同时编辑多个Python 文件
本文概要:1.StabilityAI发布了开源语言模型StableCode,用于代码生成,支持多种编程语言。2.StableCode有4K和16K版本,16K版本的大上下文窗口对新手程序员特别有用。3.StabilityAI还发布了开源语言模型StableLM和"FreeWilly",在基准测试中超过了GPT-3.5的性能。站长网2023-08-09 10:27:220000研究团队开发开源大模型训练框架 Oobleck 提供快速且有保障的故障修复
要点:密歇根大学的研究团队开发了一种名为Oobleck的开源大型模型训练框架,利用管道模板的概念,提供了快速而有保障的故障恢复,避免训练吞吐量下降。Oobleck的设计核心是管道模板,这是针对给定节点数量的训练管道执行的规范,用于实例化管道副本。这些模板在逻辑上等效(可以一起用于训练相同的模型),但在物理上是异构的(使用不同数量的节点),从而在保障容错性的同时提供高吞吐量和快速恢复。站长网2023-12-19 18:57:280003ChatGPT提示词优化平台Promptport 专为ChatGPT定制的创意AI工具
Promptport是一款为ChatGPT服务定制的创意AI工具。它允许用户在平台上创建、优化和分享ChatGPT的提示词。用户可以自行创建ChatGPT提示词,并使用标签对它们进行分类。通过创建、优化和分享提示词,用户可以更轻松地与ChatGPT互动,克服创作难题,提高对话质量,创造更有趣、更有深度的内容,并获得更多灵感。站长网2023-08-30 10:51:540003