登陆注册
21814

旷视发布HiDiffusion,SD生成速度更快,图片质量更高

站长网2024-04-26 16:17:100

最近,旷视发布的HiDiffusion技术,近日引起业界广泛关注。这一新技术只需一行代码,便能显著提升SD(扩散模型)生成图像的分辨率和生成速度,允许图像生成的分辨率高达4096×4096,同时将图像生成速度提高1.5至6倍。值得一提的是,HiDiffusion不仅支持所有SD模型,也兼容SD模型的下游模型,如Playground。

在详细介绍中,我们了解到,当直接使用已训练好的图像扩散模型尝试生成更高分辨率的图像时,常会遇到图像中对象不合理重复的问题,且图像生成时间会大幅增加。研究发现,这种对象重复问题主要由U-Net模型深层中的特征重复导致,而图像生成时间增长则主要是由于U-Net中一个自机制注意力的动画操作所致。

为了解决这些问题,旷视推出了新的高分辨率生成框架——HiDiffusion。该框架包含一个称为认知分辨率U-Net(RAU-Net)的模块,能够动态调整特征图尺寸,有效避免了图像中的对象重复现象。此外,HiDiffusion还采用了一种优化后的窗口注意力机制,称为修改版本升降窗多头自注意力(MSW-MSA),显着减少了计算量。

通过将HiDiffusion应用于各种预训练的扩散模型,不仅可以将图像生成的分辨率提高至4096×4096,而且能将图像生成速度提升1.5至6倍。广泛的实验验证表明,这一方法不仅解决了对象重复和高计算负担的问题,而且在生成高分辨率图像的任务上取得了卓越的效果。

项目页:https://top.aibase.com/tool/hidiffusion

代码:https://github.com/megvii-research/HiDiffusion

0000
评论列表
共(0)条