DeepSparse:利用稀疏性加速神经网络推理
站长网2023-10-26 12:02:070阅
DeepSparse是一种突破性的CPU推理运行时,采用了复杂的稀疏性技术,从而实现了神经网络推理的加速。稀疏性是指神经网络中存在许多连接权重为零的情况。
DeepSparse充分利用了这些零权重的连接,以跳过不必要的计算,从而有效地提高了推理速度。作为一个开源项目,DeepSparse的代码库可以在GitHub上找到。
项目地址:https://github.com/neuralmagic/deepsparse
目前,DeepSparse已经成功集成到了TensorFlow中,并成为了TensorFlow不可或缺的一个组件。
最新的DeepSparse LLM支持以稀疏内核进行加速,实现从非结构化稀疏权重中的速度提升和内存节省,同时支持8位权重和激活量化以及高效使用缓存的注意力键和值,从而减少内存移动。不仅如此,DeepSparse还支持多种计算机视觉和自然语言处理模型,包括BERT、ViT、ResNet、YOLOv5/8等等。
核心功能:
稀疏性加速: DeepSparse使用稀疏性来加速神经网络推理,从而提高性能。
LLM支持: 支持性能卓越的LLM推理,包括稀疏内核、8位权重和激活量化,以及缓存注意力键和值的高效使用。
模型优化: 与SparseML合作,DeepSparse可以进行模型修剪和量化,以优化神经网络模型。
多种模型支持: 支持多种计算机视觉和自然语言处理模型,适用于各种任务。
多层次API: 提供引擎、管道和服务器等多层次的API,以满足不同应用场景的需求。
0000
评论列表
共(0)条相关推荐
Virtualitics 获得3700万美元融资,推动基于AI的3D数据探索
本文概要:1.Virtualitics是一家提供基于人工智能的3D数据探索平台的初创公司,最近宣布获得3700万美元的C轮融资。2.Virtualitics的平台可以帮助企业分析和理解复杂的、关键的业务数据,用户可以通过运行自然语言查询和生成网络图可视化来深入探索数据。站长网2023-08-11 11:03:400000报告:五分之三的企业视生成式AI为商机 但也担心网络攻击
🔍*划重点:**1.研究显示,五分之三的企业认为生成人工智能(AI)是一个很好的机会,但许多人担心自己会受到网络攻击。2.普华永道(PwC)指出,在新兴技术竞争激烈的情况下,企业如果不冒险就无法进步。3.超过三成企业认为他们对网络风险高度或极端敏感。站长网2023-11-20 09:49:510000淘宝年终好价节战报出炉:百亿补贴成交额增长超8倍
今年淘宝将双12更名为“淘宝好价节”,这一年终促销活动在折扣力度和商品规模上都有显著提升。天猫品牌商家也全面参与了年终好价节,不仅有官方立减商品8.5折起的优惠,淘宝和天猫店铺还可以跨店每满200减30,让消费者凑单更加简单。目前,年终好价节已经结束,根据发布的战报,淘宝百亿补贴成交额同比增长了829%,日均购买用户数同比增加了351%。0000贾跃亭回应FF起诉高合汽车:盗窃FF的知识产权
今日,法拉第未来(FaradayFuture,简称FF)的创始人贾跃亭在微博上发文,宣布经过长期调查取证和准备,FF已正式对丁磊和高合汽车提起诉讼,指控其涉嫌盗窃和侵犯FF的知识产权、技术数据和商业机密。站长网2024-03-05 15:01:400000万达回应王思聪签约文旅生意:与万达没有关系
近日,王思聪以寰聚商业管理有限公司董事长身份与泰安市签署了泰山文旅健身中心项目的合作协议,项目总投资约37亿元。这一消息引起了关于王思聪和万达集团的讨论。据中新经纬报道,11月30日,万达集团相关人士在接受记者采访时表示,寰聚商管与万达没有关系,王思聪一直忙自己的事情。据悉,王思聪此前主要在游戏电竞、娱乐营销、体育、影视等领域投资,对文旅产业涉及较少。0000