Google DeepMind提出DRaFT算法以高效优化扩散模型
要点:
1、Google DeepMind提出了直接奖励微调(DRaFT)的概念,可以高效微调扩散模型以最大化可微的奖励函数。
2、引入DRaFT-K和DRaFT-LV算法,限制反向传播步数,提高效率。实验证明优于全反向传播。
3、在Stable Diffusion1.4上应用DRaFT,结果显示其效率远超基于强化学习的微调基线。DRaFT-LV效率最高。
扩散模型已经革新了各类数据的生成建模。但是在实际应用中,如根据文本描述生成美观图像,仍需要微调模型。目前文本到图像的扩散模型采用无分类器指导和精心设计的数据集如LAION美学数据集来提升图像质量和模型对齐性能。
论文地址:https://arxiv.org/abs/2309.17400
在研究中,Google DeepMind提出了一种直接而高效的基于梯度的奖励微调方法,其核心是将扩散采样过程微分化。他们提出了直接奖励微调(DRaFT)的概念,其本质是反向传播整个采样链,通常表示为具有50步长度的展开计算图。为有效管理内存和计算成本,他们采用梯度检查点技术,优化LoRA权重而不是修改全部模型参数。
此外,Google DeepMind还提出了DRaFT方法的改进,以提升其效率和性能。首先是DRaFT-K,其限制采样时仅反向传播最后K步时的梯度计算。实验结果显示,与全反向传播相比,这种截断梯度方法的性能明显更好,因为全反向传播会导致梯度爆炸问题。
另外,研究人员提出了DRaFT-LV,其平均多个噪声样本来计算更低方差的梯度估计,进一步提高方法效率。
研究人员在Stable Diffusion1.4上应用DRaFT,使用各种奖励函数和提示进行评估。他们的梯度方法相比基于强化学习的微调基线,效率优势明显。例如,在最大化LAION美学分类器分数时,与强化学习算法相比取得了200倍的加速。
他们提出的变体DRaFT-LV展现出卓越的效率,学习速度约为先前梯度微调方法ReFL的两倍。此外,他们证明了DRaFT可以与预训练模型组合或插值,通过混合或缩放LoRA权重来实现。
总之,直接在可微奖励上微调扩散模型是一个提升生成建模技术的有前景的方向。其效率、通用性和有效性使其成为机器学习和生成建模领域研究者和从业者的有价值工具。
京东618今晚8点全面开启 罗永浩将6.18折京东直播卖房
站长之家(ChinaZ.com)5月31日消息:2023年京东618将于今晚8点正式开启,活动将持续到6月20日23:59:59点,满减力度最高满299减50。据悉,本次京东618期间,百亿补贴商品数量将达到3月份的10倍以上,且涵盖万款行业爆款,以及200款超级爆款。除了百亿补贴,每位用户每天最多还可领取三张“满200减20”补贴券,并且可在除特殊商品外的全场商品中使用。站长网2023-05-31 14:20:570000如何利用自媒体快速提升搜索引擎的排名: 一站式自媒体优化排名运营系统介绍
产品介绍:亮点①:内容自动生成一站式发布自媒体图文发布短视频发布覆盖小红书.百家号.头条.B站.微博.网易.搜狐.公众号亮点②:快速排名最快当天上词、指定关键词上词率达70%百度首页PC端.移动端均有排名亮点③:全网覆盖从移动端到PC端.从搜索引擎到自媒体低成本实现品牌营销产品优势:为什么要做新媒体运营?站长网2023-05-30 15:30:110000百度数字人生成专利公布:可赋予数字人不同人格
百度在线网络技术(北京)有限公司最近公布了一项关于“数字人生成方法和装置”的专利申请。这项专利涉及人工智能技术领域,具体包括计算机视觉、自然语言处理、深度学习等技术领域,可应用于元宇宙、数字人等场景。该专利方法的一具体实施方式包括:首先获取人格对话语料集和预先训练的语言模型;然后利用人格对话语料集对语言模型进行训练,得到人格对话模型。0000华为MatePad Pro 11 2024款发布:支持北斗卫星通信 售价4299元起
在今天下午的全场景发布会上,华为推出了备受瞩目的MatePadPro112024款平板电脑。这款平板电脑在全球范围内首次引入了北斗卫星通信功能,为消费者提供了更为可靠和及时的通信体验。华为MatePadPro112024款后置模组采用了与Mate手机后摄相同的穹环设计语言,摄像头星环与微弧中框双弧度对称设计,极具辨识度。此外,机身后盖还采用了高强度锦纤材质,轻至449克、薄至5.9mm。站长网2023-11-28 18:09:410000石墨烯光电探测器概述及研究现状
石墨烯具有超高的载流子迁移率、宽光谱吸收、极高的热导率等特性,这些优异的性能为制备具有高灵敏度、宽光谱响应的光电探测器奠定了基础。但是,由于本征石墨烯零带隙能带结构,使得石墨烯的光吸收能力较弱,并且还存在增益机制较小以及载流子复合速率过快等不足,从而限制了纯石墨烯在光电探测器方面的应用。因此,优化石墨烯基光电探测器的器件结构并提高光吸收效率,改善器件的探测率成为重要的研究方向。站长网2023-05-23 23:55:140000