UltraFastBERT:推理过程仅用0.3%神经元,性能与类似的BERT模型相当
**划重点:**
1. 🧠 **创新介绍:** ETH Zurich研究人员成功开发了UltraFastBERT,通过使用快速前馈网络(FFFs)在推理过程中仅使用0.3%的神经元,实现了与其他模型相当的性能水平。
2. 🚄 **性能提升:** 通过简化的FFFs替代传统模型的前馈网络,UltraFastBERT在保持高效语言建模的同时,取得了显著的速度提升,甚至达到48倍到78倍的CPU上的推理速度提升。
3. 🛠 **潜在应用:** 该研究不仅提供了高水平的CPU和PyTorch实现,还建议通过混合稀疏张量和设备特定优化,以及通过多个FFF树的联合计算,进一步加速大型语言模型,如GPT-3。
近日,ETH Zurich的研究人员成功推出了一项创新性的技术——UltraFastBERT,该技术通过在推理过程中仅使用0.3%的神经元,实现了与其他类似BERT模型相当的性能水平。这一创新主要通过引入快速前馈网络(FFFs)来解决在推理过程中减少神经元数量的问题,相较于基准实现,取得了显著的速度提升。
研究人员提供了代码、基准设置以及模型权重,支持了这一方法的有效性。他们建议进一步探索通过混合稀疏张量和设备特定优化,以及在大型语言模型中应用多个FFF树的潜在性能提升。
UltraFastBERT在推理过程中展现了高效的语言建模,通过将传统模型的前馈网络替换为简化的FFFs,使用一致的激活函数和所有节点输出权重,同时消除了偏差。多个FFF树协同计算中间层输出,允许多样化的架构。所提供的高水平CPU和PyTorch实现显著提升了速度,而研究还探讨了通过多个FFF树和替换大型语言模型前馈网络为FFFs,实现潜在加速的可能性。为设备特定优化,建议使用Intel MKL和NVIDIA cuBLAS。
UltraFastBERT不仅在推理中仅使用0.3%的神经元的情况下实现了与BERT-base相当的性能,而且在仅使用单个GPU进行一天训练的情况下,仍保持至少96.0%的GLUE预测性能。研究还展示了通过快速前馈层实现显著的速度提升,达到48倍到78倍的CPU上的即时推理速度提升,以及GPU上的3.15倍速度提升,表明在替换大型模型方面存在潜在可能性。
总体而言,UltraFastBERT是对BERT的修改,实现了在推理过程中仅使用少量神经元的高效语言建模。该模型通过FFFs实现了显著的速度提升,提供的CPU和PyTorch实现分别实现了78倍和40倍的速度提升。研究建议通过实现有条件神经执行的基元,进一步加速语言建模。尽管仅使用0.3%的神经元,UltraFastBERT的最佳模型与BERT-base的性能相当,展示了高效语言建模的潜力。UltraFastBERT展示了高效语言建模的潜在进展,为未来更快、资源友好的模型铺平了道路。
未来研究的建议包括使用混合向量级稀疏张量和设备特定优化实现高效的FFF推理,探索有条件神经执行加速语言建模的全部潜力,以及通过将前馈网络替换为FFFs优化大型语言模型的潜在性。未来的工作可能着重于在流行框架如PyTorch或TensorFlow中实现可重现的模型,并进行广泛的基准测试,以评估UltraFastBERT及类似高效语言模型的性能和实际影响。
论文地址:https://arxiv.org/abs/2311.10770
服装AI大模型Fashion Diffusion上线 10秒打造小红书爆款小绿裙
只需10多秒,AIGC就能炸出一个小红书爆款!最近,一款由AI打造的小绿裙在小红书上爆火,评论区求同款的网友不在少数。嗅觉敏锐的一批商家迅速拿图去工厂打板、上架预售,将虚拟服饰快速复现,其中一个商家在小红书上挂出的链接已售出近千件。站长网2023-05-24 14:58:460000Topazlabs推视频高清放大工具Topaz Video AI 4 分辨率提升至16K
Topazlabs最新推出了一款名为TopazVideoAI4的工具,可以将视频分辨率提升到4K/8K甚至16K分辨率。该软件使用了24种时序感知AI模型,经过训练,专门用于升级、增强、稳定和平滑视频画面。地址:https://top.aibase.com/tool/topaz-video-ai站长网2024-01-12 11:11:150000东方甄选复播,但考验才刚刚开始
停播6天后,“东方甄选自营产品”终于恢复了正常直播。在此前的7月26日,“东方甄选自营产品”直播间突然被封。据媒体公开报道,东方甄选主播是在讲解配料表的时候,因为包装上有二维码,镜头无法回避,被抖音判定引流和关闭店铺。当晚,东方甄选CEO孙东旭在直播中表示,关停非常突然,当天下午小黄车突然被拖走后,导致自营产品连续三天不能销售。站长网2023-08-02 14:15:330001清华电子系联合火山语音开源全新的听觉大语言模型——SALMONN
SALMONN是一个由清华大学电子工程系和字节跳动合作开发的大型语言模型(LLM),能够处理语音、音频事件和音乐输入。站长网2023-08-22 18:50:310000小米Civi 3迪士尼100周年草莓熊限定版外观正式亮相
小米公司近日公布了与迪士尼联合打造的小米Civi3迪士尼100周年限定版手机,该款手机采用了迪士尼最受欢迎的IP之一——草莓熊的元素,进行深度定制。这款限定版手机的整体外观采用了草莓熊的同款配色,底部还有一个毛绒绒的超大草莓熊装饰,底色中还铺满了各种logo。中框和镜头一圈则采用了金色作为装饰色,使得手机外观更加华丽。0000