谷歌推新型生成式AI模型IGN 单步即可生成逼真图像
要点:
1. UC伯克利和谷歌提出的幂等生成网络(IGN)是一种新型生成式AI模型,能够通过单步生成逼真图像,不需要多步迭代。
2. IGN与传统的生成对抗网络(GAN)和扩散模型不同,它是一个自对抗模型,同时完成生成和判别,并尝试在单个步骤中将输入映射到目标数据分布。
3. 通过实验证明,虽然IGN目前生成结果无法与最先进的模型竞争,但在推理方面更加有效,可以输出一致性更高的结果,具有潜在的医学图像修复应用。
生成式AI模型的新范式要来了。UC伯克利谷歌提出幂等生成网络(IGN),只需单步即可生图。当前,生成式AI模型,比如GAN、扩散模型或一致性模型,通过将输入映射到对应目标数据分布的输出,来生成图像。通常情况下,这种模型需要学习很多真实的图片,然后才能尽量保证生成图片的真实特征。
最近,来自UC伯克利和谷歌的研究人员提出了一种全新生成模型——幂等生成网络(IGN)。IGNs可以从各种各样的输入,比如随机噪声、简单的图形等,通过单步生成逼真的图像,并且不需要多步迭代。这一模型旨在成为一个「全局映射器」(global projector),可以把任何输入数据映射到目标数据分布。
论文地址:https://arxiv.org/abs/2311.01462
有趣的是,《宋飞正传》中一个高效的场景竟成为研究人员的灵感来源。这个场景很好地总结了「幂等运算符」(idempotent operator)这一概念,是指在运算过程中,对同一个输入重复进行运算,得到的结果总是一样的。
IGN与GAN、扩散模型有两点重要的不同之处:与GAN不同的是,IGN无需单独的生成器和判别器,它是一个「自对抗」的模型,同时完成生成和判别。与执行增量步骤的扩散模型不同,IGN尝试在单个步中将输入映射到数据分布。位于同一空间,即它们的实例具有相同的维度。
研究人员承认,现阶段,IGN的生成结果无法与最先进的模型相竞争。在实验中,使用的较小的模型和较低分辨率的数据集,并在探索中主要关注简化方法。当然了,基础生成建模技术,如GAN、扩散模型,也是花了相当长的时间才达到成熟、规模化的性能。研究人员在MNIST(灰度手写数字数据集)和 CelebA(人脸图像数据集)上评估IGN,分别使用28×28和64×64的图像分辨率。
研究人员采用了简单的自动编码器架构,其中编码器是来自DCGAN的简单五层鉴别器主干,解码器是生成器。训练和网络超参数如表1所示。图4显示了应用模型一次和连续两次后两个数据集的定性结果。如图所示,应用IGN 一次 (f (z)) 会产生相干生成结果。然而,可能会出现伪影,例如MNIST数字中的孔洞,或者面部图像中头顶和头发的扭曲像素。
再次应用 f (f (f (z))) 可以纠正这些问题,填充孔洞,或减少面部噪声斑块周围的总变化。表明,当图像接近学习流形时,再次应用f会导致最小的变化,因为图像被认为是分布的。作者通过执行操作证明IGN具有一致的潜在空间,与GAN所示的类似,图6显示了潜在空间算法。
研究人员还验证通过将来自各种分布的图像输入到模型中以生成其等效的「自然图像」,来验证IGN「全局映射」的潜力。研究人员通过对噪声图像x n 进行去噪、对灰度图像原始图像x,这些逆任务是不适定的。IGN能够创建符合原始图像结构的自然映射。如图所示,连续应用f可以提高图像质量(例如,它消除了投影草图中的黑暗和烟雾伪影)。通过以上结果可以看出,IGN在推理方面更加有效,在训练后只需单步即可生成结果。它们还可以输出更一致的结果,这可能推广到更多的应用中,比如医学图像修复。
AnyGPT:实现任意模态输入到任意模态输出
划重点:1.🧠创新性:AnyGPT采用离散表示技术,实现对语音、文本、图像和音乐等多模态输入的统一处理,无需修改大语言模型结构或训练范式。2.🔄灵活性:通过数据预处理,AnyGPT能稳定训练,并轻松集成新的模态,类似于添加新语言。3.🎭实用性:通过生成模型,AnyGPT合成了首个大规模的任意多模态指令数据集,证明离散表示能够在语言模型中有效统一多种模态,实现任意多模态对话。站长网2024-02-20 15:45:130000Kimi Chat背后模型月之暗面moonshot正式开放API申请
KimiChat背后的模型,Moonshot模型,现已正式开放API申请,开发者可以接入Moonshot大模型来开发自己的应用。moonshot与OpenAI的API完全兼容,用户可以方便地进行迁移。该模型的最大上下文长度为128K。申请地址:https://top.aibase.com/tool/moonshot-aikaifangpingtai站长网2024-02-06 11:04:260008安卓之光未发先火!超1000位米粉下单小米13 Ultra
快科技4月13日消息,小米13Ultra将于4月18日发布,这将是小米2023年的安卓之光”。目前这款新品已在小米天猫官方旗舰店开启1元盲订,参与1元预订的用户可以获得超多权益。天猫官方旗舰店显示,在不知道价格的情况下,已有超过1000位米粉下单购买。与此同时,小米13Ultra在酷安热度榜冲到了第一名的位置,人气火爆。站长网2023-04-13 20:03:500000英伟达最新AI AgentEureka开源 可完成转笔等复杂动作
要点:英伟达的最新AIAgentEureka使用GPT-4生成奖励函数,教会机器人完成多项复杂任务,包括转笔、打开抽屉、抛球等,表现超越人类专家。Eureka采用混合梯度架构,结合无梯度的情境学习和强化学习,通过上下文来实现人类水平的奖励算法设计,大幅提升机器人性能。这项研究受到广泛关注,开源项目可在机器人领域应用,尤其在处理复杂任务和高维电机控制方面表现出色,甚至有时与人类策略负相关。站长网2023-10-21 14:47:030000英伟达提出新技术Tied-LoRA 减少模型训练参数
要点:1.Nvidia的研究人员提出了一种名为Tied-LoRA的新技术,旨在改善低秩适应(LoRA)方法的参数效率。2.Tied-LoRA利用权重绑定和选择性训练,在性能和可训练参数之间寻找最佳平衡。3.在对不同任务和基础语言模型进行实验后,研究人员发现在效率和性能之间存在权衡,Tied-LoRA方法可以使用比标准LoRA方法少13%的参数获得相当的性能。站长网2023-11-24 13:59:540000