登陆注册
11747

DeepSparse:利用稀疏性加速神经网络推理

站长网2023-10-26 12:02:070

DeepSparse是一种突破性的CPU推理运行时,采用了复杂的稀疏性技术,从而实现了神经网络推理的加速。稀疏性是指神经网络中存在许多连接权重为零的情况。

DeepSparse充分利用了这些零权重的连接,以跳过不必要的计算,从而有效地提高了推理速度。作为一个开源项目,DeepSparse的代码库可以在GitHub上找到。

项目地址:https://github.com/neuralmagic/deepsparse

目前,DeepSparse已经成功集成到了TensorFlow中,并成为了TensorFlow不可或缺的一个组件。

最新的DeepSparse LLM支持以稀疏内核进行加速,实现从非结构化稀疏权重中的速度提升和内存节省,同时支持8位权重和激活量化以及高效使用缓存的注意力键和值,从而减少内存移动。不仅如此,DeepSparse还支持多种计算机视觉和自然语言处理模型,包括BERT、ViT、ResNet、YOLOv5/8等等。

核心功能:

稀疏性加速: DeepSparse使用稀疏性来加速神经网络推理,从而提高性能。

LLM支持: 支持性能卓越的LLM推理,包括稀疏内核、8位权重和激活量化,以及缓存注意力键和值的高效使用。

模型优化: 与SparseML合作,DeepSparse可以进行模型修剪和量化,以优化神经网络模型。

多种模型支持: 支持多种计算机视觉和自然语言处理模型,适用于各种任务。

多层次API: 提供引擎、管道和服务器等多层次的API,以满足不同应用场景的需求。

0000
评论列表
共(0)条