12秒内AI在手机上完成作画!谷歌提出扩散模型推理加速新方法
只需12秒,只凭手机自己的算力,就能拿Stable Diffusion生成一张图像。
而且是完成了20次迭代的那种。
要知道,现在的扩散模型基本都超过了10亿参数,想要快速生成一张图片,要么基于云计算,要么就是要本地硬件够强大了。
而随着大模型应用逐渐普及开来,在个人电脑、手机上跑大模型很可能是未来的新趋势。
由此,谷歌的研究员们带来了这篇新成果,名字就叫Speed is all you need:通过GPU优化加速大规模扩散模型在设备上的推理速度。
三步走优化加速
该方法是针对Stable Diffusion来做的优化,但同时也能适应其他扩散模型。面向的任务是从文本生成图像。
具体优化可以分成三个部分:
设计专门的内核
提升Attention模型效率
Winograd卷积加速
首先来看专门设计的内核,它包括了组归一化和GELU激活函数。
组归一化是在整个UNet体系结构中实现,这种归一化的工作原理是将特征映射的通道划分为更小的组,并对每个组独立归一,使组归一化较少依赖于批大小,并且能适应更大范围的批处理大小和网络架构。
研究人员以GPU着色器(shader)的形式设计了一个独特的核,能在没有任何中间张量的情况下,在单个GPU命令中执行所有内核。
GELU激活函数中,包含大量的数值计算,如惩罚、高斯误差函数等。
通过一个专用着色器来整合这些数值计算以及伴随的分割和乘法操作,使得这些计算能放在一个简单的draw call里。
Draw call是CPU调用图像编程接口,命令GPU进行渲染的操作。
接下来,到了提升Attention模型效率方面,论文介绍了两种优化方法。
其一是部分融合softmax函数。
为了避免在大矩阵A上执行整个softmax计算,该研究设计了一个GPU着色器来计算L和S向量以减少计算,最终得到一个大小为N×2的张量。然后将softmax计算和矩阵V的矩阵乘法融合。
这种方法大幅减少了中间程序的内存占用张量和总体延迟。
需要强调的是从A到L、S的计算映射的并行是有限的,因为结果张量中的元素比输入张量A中的元素数量要少得多。
为了增加并行、进一步降低延迟,该研究将A中的元素组成block,将归约操作(reduction operations)切分为多个部分进行。
然后在每个block上执行计算,然后将其简化为最终结果。
利用精心设计的线程和内存缓存管理,可以在多个部分实现使用单个GPU命令降低延迟。
另一种优化方法是FlashAttention。
这是去年火起来的IO感知精确注意力算法,具体有两种加速技术:按块递增计算即平铺、并在后向传递中重新计算注意力,将所有注意力操作融合到CUDA内核中。
相较于标准Attention,这种方法能减少HBM(高带宽内存)访问,提高整体效率。
不过FlashAttention内核的缓存器密集度非常高(register-intensive),所以该团队是有选择性地使用这一优化方法。
他们在注意力矩阵d=40的Adreno GPU和Apple GPU上使用FlashAttention,其他情况下使用部分融合softmax函数。
第三部分是Winograd卷积加速。
它的原理简单来说就是使用更多的加法计算来减少乘法计算,从而降低计算量。
但弊端也很明显,将会带来更多的显存消耗和数值错误,尤其是在tile比较大的情况时。
Stable Diffusion的主干非常依赖3×3卷积层,尤其是在图像解码器方面,这里90%的层都是由3×3卷积层构成的。
研究人员分析后发现,在使用4×4大小的tile时,是模型计算效率和显存利用率的最佳平衡点。
实验结果
为了评估提升效果,研究人员先在手机上进行了基准测试。
结果表明,两部手机在使用了加速算法后,生成图片的速度都明显提升。
其中三星S23Ultra的延迟降低了52.2%,iPhone14Pro Max上的延迟降低了32.9%。
在三星S23Ultra上端到端从文本生成一张512×512像素的图片,迭代20次,耗时在12秒以内。
论文地址:
https://arxiv.org/abs/2304.11267
Midjourney开始训练视频模型!V6将有重大版本更新
Midjourney昨晚发布了一些重要的消息,称他们即将开始训练视频模型,并且计划从一月开始进行这项工作。此外,他们还宣布下周将迎来V6版本的一次重要更新,其中文本处理方面将有显著的进步,内容的连贯性会有所提高,并且对于提示的准确性也将得到改善。总的来说,各方面都会有所提升。站长网2023-12-28 15:34:41000010天涨粉156万!“王婆说媒”全网爆火!女网红蹭流量翻车?
头戴大红花、一颗媒婆痣,河南开封万岁山武侠城的一位“开封王婆”成了最近的抖音“流量密码”,她主打一个不管高矮胖瘦、贫穷富贵,只要敢上台,就有可能求得姻缘,堪称是活月老。她的节目现场人山人海,女生可以摸腹肌、在线选帅哥、求复合、求复婚、甚至有百万及网红蹭她的热度而被赶下台……只有你想不到,没有现场看不到,王婆的幽默和控场能力更像是一场精彩相声。站长网2024-03-26 11:44:250000奢望AI写作文?先把校对干好再说
连高考作文都能写,面对更简单的校对工作,AI大模型能做好吗?高考开始后,除了考生之外,最忙碌的可能就是AI大模型们了,有人测试它写高考作文,有人测试它解数学应用,各家AI大模型,这几天很忙。十项全能的AI大模型,连高考考场都敢上,对于相对简单的校对工作,是不是更不在话下?对此,不同的使用人群,有着不一样的反馈。站长网2023-06-10 08:59:500000《财富》发布全球人工智能创新者50强榜单 百度入选
昨日,《财富》发布了首届全球“《财富》人工智能创新者50强榜单”,百度成为唯一入选该榜单的中国企业。站长网2023-11-22 16:49:440000汤姆猫:AI产品已初步实现情境对话、AI识物、AI绘图等功能
汤姆猫近日表示,在人工智能上,公司关注到ChatGPT相关技术的应用后,借助国内外的通识大模型,公司致力于将“会说话的汤姆猫”迭代为“会聊天的汤姆猫”。截至目前,公司国内研发团队打造的AI产品已初步实现情境对话、英语口语启蒙、AI识物、AI绘图等功能。站长网2023-07-25 12:20:430000