图像编辑EditGAN新方法:实现高精度细节编辑 并保持图像质量
文章概要:
1. EditGAN 是高精度语义图像编辑的新方法,解决传统GAN的局限
2. EditGAN 通过嵌入图像到GAN的潜在空间进行精确编辑,学习“编辑向量”
3. EditGAN 可以进行高精度编辑,同时保持图像质量,表现超过其他模型
近年来,生成对抗网络(GAN)在图像编辑领域得到广泛应用。但是传统GAN架构存在一些局限,如需要大量标注数据、编辑控制粒度较粗等。为解决这些问题,NVIDIA 在2022年提出了EditGAN。
EditGAN是一种高精度、高质量语义图像编辑的新方法。它基于一种GAN框架,可以同时建模图像及其语义分割,只需要很少的标注数据。
EditGAN通过优化将图像嵌入到GAN的潜在空间,然后根据分割编辑进行条件潜码优化,以精确修改图像。为了缩短优化过程,模型会在潜在空间中找到实现编辑的“编辑向量”。
EditGAN框架可以学习任意数量的编辑向量,然后可以高效地应用于其他图像。实验结果表明,EditGAN可以在保持图像质量的同时,以前所未有的细节进行图像编辑。相比其他模型,EditGAN可以进行更复杂、更精细的编辑,同时保持身份信息及图像质量。
上图展示了 EditGAN 框架在新颖图像上应用先前学习的编辑向量并使用30个优化步骤细化图像时的性能。
为了评估 EditGAN 的域外性能,该框架已在 MetFaces 数据集上进行了测试。EditGAN 模型使用域内真实面孔来创建编辑向量。然后,该模型使用100步优化过程嵌入域外的 MetFaces 肖像,并通过30步自我监督细化过程应用编辑向量。结果如下图所示。
简单的说,EditGAN是第一个基于 GAN 的图像编辑框架,它提供了如下功能:
非常高精度的编辑。
可以处理少量标记数据。
可以在实时场景中有效部署。
允许同时进行多个编辑的组合性。
适用于 GAN 生成的、真实的嵌入图像,甚至域外图像。
此外,EditGAN 提供了三种不同的编辑模式:使用预学习的编辑向量实时编辑、使用自监督优化refine向量编辑、从头开始优化进行大范围编辑的全优化编辑。定量结果显示,在保持语义正确性及身份信息的同时,EditGAN也可以生成高质量的编辑结果。
EditGAN是语义图像编辑领域的重要进展,可以进行高精度编辑,其性能也超过当前其他模型。它很可能成为这个领域的新标准。
由于 EditGAN 基于 GAN 框架,因此它与任何其他 GAN 模型具有相同的限制:它只能处理可由 GAN 建模的图像。EditGAN 在处理 GAN 建模图像方面的局限性是难以跨不同场景实现 EditGAN 的主要原因。然而,值得注意的是,EditGAN 的高精度编辑可以通过利用编辑向量轻松转移到其他不同的图像。
EditGAN特点总结如下:
1. 基于GAN框架,只需要很少的标注数据即可进行高精度语义图像编辑
2. 通过将图像嵌入GAN的潜在空间,学习“编辑向量”来修改图像
3. 可以学习任意数量的编辑向量,高效应用到其他图像上
4. 可以进行前所未有的细节编辑,同时保持图像质量
5. 提供实时编辑向量编辑、自我监督向量编辑、全优化编辑三种编辑模式
6. 定量结果显示在保证语义和身份信息正确的同时,也可以生成高质量结果
内容参考自:https://www.unite.ai/high-precision-semantic-image-editing-with-editgan/
Canalys:2023年第一季度全球智能手机出货量下降13%
科技市场独立分析机构Canaly公布数据称,2023年第一季度全球智能手机出货量下降13%,跌至2.70亿部。三星重夺领先位置,出货量达到6030万部。苹果公司以5800万部的出货量位居第二。小米以3050万部的出货量捍卫了其第三名的位置,而OPPO和vivo分别以2660万和2090万部的出货量跻身前五,分别占据10%和8%的市场份额。站长网2023-05-15 11:27:570000游戏AI 怎么就进入2.0了?
虽然此前已经多次表示技术会成为游戏行业阶段性发展的最重要推力之一,但关于游戏AI的应用迭代之迅猛依旧让人咋舌。如果说利用AI工具提升生产效率是1.0阶段(量),那么腾讯网易作为行业头部,已经一只脚迈进了更复杂的内容多样化相关,无论是NPC的行为设定还是动作智能化的应用,这些都是质的2.0阶段。技术的应用更直接的与内容竞争力挂钩。学术与应用0000当我们还谈Citywalk的时候,要谈什么 |OurCity
从今年春天开始,Citywalk火遍全网。随着「秋天第一场Citywalk」的标语出现,秋日的宜人气温正在续航Citywalk热度。亚运会期间,杭州推出了亚运版Citywalk指南;北京、上海、广州等地也都有更应时应景的路线和活动。站长网2023-10-14 09:01:1300009位机器人召开全球首场发布会:称不会取代人类的工作
随着人工智能的快速发展,机器人在各个领域取得了显著进步,并能够替代人类从事一些危险的工作。然而,人们也对机器人可能反抗人类的情景表示担忧。在瑞士日内瓦举行的一场新闻发布会上,世界上首次由机器人召开的发布会上,机器人们表示他们不会取代人类的工作,也不会反抗人类。发布会上共有9个人形机器人回答了记者的问题,它们回答问题流利并且带有生动的表情。站长网2023-07-10 00:07:290001由于人工智能和自动化,英国电信将裁员多达 55000 人
英国电信集团是世界上最大的电信公司之一,它表示到本十年末将裁员多达55,000人,占其员工总数的42%,这在很大程度上是人工智能和自动化影响的。站长网2023-05-22 15:52:470000