登陆注册
19397

尤洋团队开源OpenDiT,训练类似Sora模型实现80%加速

站长网2024-02-29 14:40:511

**划重点:**

1. 🚀 新加坡国立大学尤洋团队开源项目OpenDiT,加速Diffusion Transformer(DiT)模型训练和部署。

2. 💻 OpenDiT在GPU上实现高达80%的加速,同时节省50%内存,通过采用混合并行和序列并行方法等优化。

3. 🌐 提供易用的pipeline,包括文本到图像和文本到视频生成,验证在ImageNet上训练DiT模型的准确性。

新加坡国立大学尤洋团队最近发布的开源项目OpenDiT,为训练和部署DiT模型提供了新思路。

OpenDiT是一个易于使用、快速且内存高效的系统,专门用于提高DiT应用程序的训练和推理效率,包括文本到视频生成和文本到图像生成。该项目利用了ZeRO并行策略,将DiT模型参数分布到多台机器上,初步降低了显存压力。为了达到更好的性能与精度平衡,OpenDiT还采用了混合精度的训练策略。

在DiT模型的序列并行性方面,尤洋团队提出了FastSeq,一种适用于大序列和小规模并行的新型序列并行方法。这种方法通过最小化序列通信,利用AllGather提高通信效率,并巧妙地使用异步ring来优化性能,尤其适用于处理类似DiT的工作负载。

为了优化DiT模型中的运算效率,OpenDiT引入了高效的Fused adaLN Kernel,将多次操作合并,提高了计算效率并减少了I/O消耗。总体而言,OpenDiT具有在GPU上加速高达80%、50%内存节省的性能优势。

对于用户来说,OpenDiT提供了易于使用的pipeline,包括文本到图像和文本到视频生成。通过在ImageNet上进行文本到图像的训练,研究团队验证了OpenDiT的准确性,并发布了检查点。

OpenDiT为DiT模型的训练和部署提供了一种高效、易用的解决方案,为研究者和工程师在最短时间内复现Sora的效果提供了有力支持。

特色功能亮点:

OpenDiT 采用以下技术提高性能:

- GPU 上高达80% 的加速和50% 的内存减少

- 包括 FlashAttention、Fused AdaLN 和 Fused layernorm 核的内核优化。

- 包括 ZeRO、Gemini 和 DDP 等混合并行方法。此外,对 ema 模型进行分片进一步降低内存成本。

- FastSeq:一种新颖的序列并行方法,特别适用于 DiT 样式的工作负载,其中激活大小较大但参数大小较小。

易于使用:

- 通过几行更改实现巨大的性能提升

- 用户无需了解分布式训练的实现。

-支持 Image 和 Video 训练和推断:

- 使用脚本或命令行进行图像和视频训练

- 支持多节点训练和推断

- 提供用于训练和推断速度提升的库

项目入口:https://top.aibase.com/tool/opendit

0001
评论列表
共(0)条