登陆注册
20366

小米发布新项目SDXS,大幅提升SD图像生成速度

站长网2024-03-27 12:54:202

近日,小米发布了一项名为SDXS的项目,该项目旨在大幅增强SD图像生成速度。据悉,SDXS可以在单个GPU上实现SD1.5每秒100张图的生成速度,而SDXL则能达到每秒30张图的生成速度。这一项目估计是为了在小米的本地设备上运行SD模型而研究的。

扩散模型在图像生成任务上取得了优异的性能,但由于模型庞大且需要多步采样,推理速度很慢,难以部署在低功耗设备上。为了解决这些问题,可以采用剪枝、知识蒸馏、量化等常见的模型压缩方法。本文的优化思路主要有两个方面:一是模型微型化,二是减少采样步数至1步。

项目地址:https://top.aibase.com/tool/sdxs

在项目介绍中,小米采用了知识蒸馏技术来简化U-Net架构和图像解码器。同时,他们还引入了一种创新的单步训练技术,这种技术通过特征匹配和成绩蒸馏来训练扩散模型。基于这些优化措施,小米开发了两款模型,SDXS-512和SDXS-1024。这两款模型在单个GPU上分别能达到大约每秒100帧(比SD v1.5快30倍)和每秒30帧(比SDXL快60倍)的处理速度。

此外,小米表示,这种训练方法在图像条件控制方面展现出巨大的潜力,有效地实现了图像到图像的快速转换。这一突破性的进展将有助于推动图像生成技术的发展,同时也为小米在人工智能领域的研究和应用提供了有力支持。

0002
评论列表
共(0)条