研究人员提出AI免优化框架DreamIdentity 保持身份一致且可编辑
为了解决人脸身份保存和可编辑性方面的问题,研究人员提供了一个独特的免优化框架(名为 DreamIdentity)。通过创建一个独特的多词多尺度身份编码器 (M2ID 编码器),以实现准确的身份表示,并使用自增强的可编辑性学习方法将编辑任务移到训练阶段。他们的方法既保持了身份的一致性,又实现了文本引导的灵活修改,有效实现了身份再语境化。
据了解,传统的文本到图像模型可以根据自然语言描述生成与特定人脸身份相关的不同情境的图像。然而,现有的优化无关方法在保持身份的同时保持模型的可编辑性方面存在困难。
由于基于扩散的大规模文本到图像 (T2I) 模型,创建视觉材料的学科最近发生了变化。这些 T2I 模型使制作引人入胜、富有表现力且以人为本的图形变得简单。这些模型的一个有趣的用途是,它们能够根据日常生活中特定人的面孔(我们的家人、朋友等),使用自然语言描述生成与身份相关的各种情况。身份重新情境化挑战与图1所示的典型 T2I 任务不同,要求模型在遵守文本提示的同时保持输入面部识别(即 ID 保留)。
为每个人脸身份个性化预训练的 T2I 模型是一种可行的方法。它需要学习通过增强单词嵌入或微调模型参数来将特定单词与本质相关联。由于每个身份的优化,这些基于优化的方法可能会更有效。为了避免耗时的每个身份优化,各种免优化方法建议直接将从预训练图像编码器(通常是 CLIP)获得的图像特征映射到词嵌入中。然而,这会损害 ID 的保存。因此,这些技术存在损害原始 T2I 模型编辑技能的危险,因为它们要么需要微调预训练 T2I 模型的参数,要么改变原始结构以注入额外的网格图像特征。
简而言之,所有并发的免优化工作都在努力保持身份,同时保持模型的可编辑性。他们认为,两个问题,即(1)错误的身份特征表示和(2)训练和测试目标不一致,是现有无优化研究中上述困难的根本原因。一方面,目前最好的 CLIP 模型在 top-1人脸识别准确率上仍然比人脸识别模型差很多(80.95% vs.87.61%),这表明所使用的通用编码器(即 CLIP)通过同时努力不足以完成身份重新情境化工作。此外,CLIP 的最后一层功能主要关注高级语义而不是精确的面部描述, 输入面部的可编辑性受到使用普通重建目标来学习单词嵌入的所有并发任务的负面影响。为了解决上述身份保存和可编辑性方面的困难,他们提供了一个独特的免优化框架(名为 DreamIdentity),具有准确的身份表示和一致的训练/推理目标。更准确地说,他们在 Vision Transformer 的架构中创建了独特的多字多尺度 ID 编码器(M2ID 编码器),以实现正确的识别表示。该编码器在相当大的人脸数据集上进行了预训练,并将多尺度特征投影到多词嵌入中。
中国科学技术大学和字节跳动的研究人员提出了一种新颖的自我增强可编辑性学习方法,将编辑任务转移到训练阶段。该方法使用 T2I 模型通过生成名人面孔和各种目标编辑的名人图像来构建自增强数据集。M2ID 编码器使用此数据集进行训练,以提高模型的可编辑性。他们对这项工作做出了以下贡献:他们认为,由于错误的表示和不一致的训练/推理目标,现有的免优化方法对于 ID 保存和高可编辑性来说是无效的。
从技术上讲,(1)他们建议使用 M2ID 编码器,这是一种具有多重嵌入投影的 ID 感知多尺度特征,用于适当的表示。(2) 它们结合了自我增强的可编辑性学习,使底层 T2I 模型能够提供高质量的数据集进行编辑,以实现一致的训练/推理目标。综合研究证明了他们的方法的有效性,有效地实现了身份保留,同时允许灵活的文本引导修改或身份重新上下文化。
小米14 Ultra人像引擎升级为“人像大模型”
2月22日晚,小米即将发布其全新旗舰手机——小米14Ultra,继续主打影像体验。在此之前,小米已经公布了该机的镜头硬件信息,并在今天正式揭晓了其全新升级的光学和算法技术,将其人像引擎进一步升级为“人像大模型”。站长网2024-02-20 11:45:150000雷军回应网友催更小米14:别着急 这次产品很很很强
高通即将在10月25日至26日举行2023年的骁龙峰会,届时将正式推出全新的移动平台骁龙8Gen3。按照以往的惯例,小米14很有可能成为这款新平台的首发机型。甚至有消息称,小米会在高通的发布会上之前就开始预热。网友们也纷纷在雷军的微博上留言,催促小米14的发布。对此,雷军今天在微博上做出了回应,表示大家不要着急,这次的新产品非常强大。这是雷军首次针对小米14的发布表态,给人留下了深刻的印象。站长网2023-10-16 15:05:210000Redmi K70/Pro推出全新12+512GB版本:售价2699元起
今日,Redmi官方带来了令人振奋的消息——RedmiK70和RedmiK70Pro两款机型推出了全新的12GB512GB版本,为用户提供了更大的存储空间选择。其中,RedmiK70的12GB512GB版本售价为2699元,而RedmiK70Pro的同款配置售价为3599元。站长网2024-02-29 14:15:460000苹果推送iOS 17.4正式版 欧盟地区率先开放第三方应用侧载
凌晨时分,苹果向全球iPhone用户推送了iOS17.4正式版升级,内部版本号为21E219。此次更新标志着苹果操作系统的一个重要里程碑,特别是对于欧盟地区的用户来说。iOS17.4的最大亮点在于首次为欧盟27个成员国的iPhone用户提供了侧载功能。这意味着,用户现在可以从除AppStore以外的第三方应用商店安装应用,这一举措无疑为欧盟用户带来了更多的选择与便利。站长网2024-03-06 11:13:200000国民应用彻底打通!QQ新版本正式加入微信登陆支持
快科技7月24日消息,近日,安卓版QQ推送v8.9.70版本更新。根据更新日志提供的信息,此次新版本正式为QQ加入了微信与手机号登陆的渠道。值得一提的是,早在该版本更新之前,就有部分用户反馈,自己的安卓版QQ已经出现了相关的更新。即便到了现在,微信登录QQ的功能也仅局限在安卓平台,在iOS与PC平台,该功能仍未推送。站长网2023-07-25 12:20:390000