Intel研究人员提出新AI方法,更高效地在CPU上部署LLM
**划重点:**
- 🌐 大型语言模型(LLM)因在文本生成、语言理解和文本摘要等任务中的卓越表现而备受欢迎,但其庞大的模型参数却需要大量内存和专用硬件。
- 🧮 为了降低推断所需的计算功率,Intel的研究人员提出了一种有效的方法,支持自动的INT-4权重量化流程,可以在CPU上高效部署LLM。
- ⚙️ 他们还设计了一个特定的LLM运行时,具有高度优化的内核,加速CPU上的推断过程。
大型语言模型(LLM)因其在文本生成、语言理解和文本摘要等各种任务中的卓越性能而备受瞩目,但它们庞大的模型参数却需要大量内存和专用硬件,这使得部署这些模型变得相当具有挑战性。
为了降低推断所需的计算功率,研究人员通常采用权重量化等方法,即减少人工神经网络的权重和激活函数的精度。其中,INT8和仅权重量化是一些改进推断成本的方法。然而,这些方法通常针对CUDA进行优化,可能不适用于CPU。
Intel研究人员提出了一种有效的方法,可以在CPU上高效部署LLM。他们的方法支持自动的INT-4仅权重量化流程,即将低精度应用于模型的权重,而将激活函数的精度保持较高。此外,他们设计了一个特定的LLM运行时,具有高度优化的内核,可以加速CPU上的推断过程。
他们的权重量化流程基于Intel神经压缩器,并允许在不同的量化配方、粒度和组大小上进行调整,以生成满足准确性目标的INT4模型。然后,将模型传递给LLM运行时,这是一个专门设计用于评估量化模型性能的环境。该运行时已经设计用于在CPU上高效推断LLM。
在他们的实验中,研究人员选择了一些参数大小不同的流行LLM,范围从7B到20B。他们使用开源数据集评估了FP32和INT4模型的性能。他们观察到,在所选数据集上,量化模型的准确性几乎与FP32模型相当。此外,他们对下一个标记生成的延迟进行了比较分析,并发现LLM运行时比ggml-based解决方案性能提高了多达1.6倍。
研究论文提出了解决LLM推断在CPU上的一个最大挑战的方法。传统上,这些模型需要像GPU这样的专用硬件,这使它们对许多组织来说不可及。这篇论文提出了INT4模型量化以及专门的LLM运行时,以在CPU上高效推断LLM。
在一组流行的LLM上进行评估时,该方法表现出比ggml-based解决方案更具优势,并且在准确性上与FP32模型相当。然而,还有进一步改进的空间,研究人员计划推动在个人计算机上实现生成式人工智能,以满足对人工智能生成内容不断增长的需求。
项目网址:https://github.com/intel/intel-extension-for-transformers
美图自研AI视觉大模型MiracleVision发布4.0版本
今日,美图自研AI视觉大模型MiracleVision(奇想智能)发布4.0版本,最新版本带来了两大新能力:AI设计和AI视频。AI设计包括四大功能:矢量图形、文字特效、智能分层和智能排版。用户可以通过AI设计快速生成匹配设计风格的矢量图形,自定义文字特效,将对象快速识别并转换成独立的图层,并通过自然语言交互对文字和图像进行排版设计。站长网2023-12-05 16:02:480000中国耳机最新线上销售排名:苹果依旧遥遥领先 华为第4
快科技8月5日消息,根据洛图科技(RUNTO)数据显示,2023上半年,中国耳机耳麦市场销量达到4811万副,同比增长6.6%。耳机/耳麦按产品类型分为有线入耳耳机、真无线(TWS)耳机、头戴式耳麦和颈挂式耳机。在中国耳机耳麦线上市场,TOP10品牌中,国产和外资各占一半。站长网2023-08-05 19:30:480000太机灵!Anthropics的Claude3能察觉研究人员在测试中的行为
**划重点:**1.🧠Claude3Opus,Anthropic新系列LLM中最强大的模型,展现出对研究人员测试的元认知,引发行业关注。2.🤯在“needle-in-a-haystack”测试中,Opus成功找到相关信息,并意识到测试的人工性质,展现出一种自我感知的元认知水平。3.🌐LLM的能力不断惊人,但仍需行业过渡至更实际的评估方法,以准确评估模型的真实能力和局限性。站长网2024-03-05 13:17:300000全网最全华为手机隐藏功能!
1、微信悬浮小窗模式时,点开相册并长按图片,可将图片直接拖至对话框,快速发图。2、可以把要发送的图片和文件都拖入中转站整理好之后一起发送给对方(长按图片或者文件会唤出中转站)3、打开相机,点开拍照页面左上角的[智慧视觉],可以实现识物、识文、翻译、识别食物卡路里、一键还原试卷、扫描证件照等。站长网2023-05-24 08:14:110000东方甄选入驻拼多多:农产品销售平台拓展新渠道
近日,有网友发现,东方甄选已在拼多多上开设了网店,其店铺简介标注为“新东方在线农产品销售平台”。根据@东方财经的搜索结果显示,该店目前已拼出1880件商品。针对此举,东方财经进行了询问,店铺客服回复称,拼多多店铺是最近开设的,虽然产品与App上相同,但只上架了部分商品。虽然目前仅有部分商品上架,但随着时间的推移,预计东方甄选将逐步完善其在拼多多上的店铺,并提供更多优质的产品供消费者选择。站长网2024-03-01 15:22:420000