微软研究员推LoRAShear技术:高效对大语言模型结构化剪枝
划重点:
- 🚀 LoRAShear:一种高效的LLMs结构化剪枝与知识恢复方法。
- 🧠 LLMs:快速处理文本数据,助力搜索引擎和问答系统。
- 💡 知识更新:微软研究人员提出结构剪枝方法,提高知识保存率。
微软的研究人员近日推出了一项名为LoRAShear的创新技术,旨在剪枝大型语言模型(LLMs)并实现知识的高效恢复。LLMs在处理文本数据和迅速检索相关信息方面表现出色,广泛应用于搜索引擎和问答系统。这项技术的问世将有望帮助用户更轻松地找到所需信息,极大地促进了人工智能的发展。
在LLMs的日常维护工作中,知识的更新和恢复是至关重要的任务之一。目前,一种常见的知识更新方法是通过精细调整(fine-tuning)。开发人员可以取得一个预训练的模型,然后在特定数据集上进行精细调整,从而更新其知识。这使得模型能够了解最新事件或特定领域的信息,为研究人员和专业人士提供了有力的工具。
微软的研究人员在这一领域取得了新的突破,他们开发了LoRAShear技术,这是一种高效的LLMs剪枝与知识恢复方法。所谓的“剪枝”是指通过移除或减少神经网络架构中的某些组件或元素,从而使其更加高效、紧凑和计算要求更低。
LoRAShear采用了Lora Half-Space Projected Gradient(LHSPG)方法,实现了渐进式结构剪枝,实现知识的高效传递,同时引入了动态知识恢复阶段,使其在预训练和指导性微调的方式下执行多阶段的精细调整。
研究人员表示,LoRAShear技术可以应用于通用的LLMs,通过分析LLMs与LoRA模块的依赖图,实现结构剪枝和知识恢复。他们提出了一种独特的算法,用于创建原始LLMs和LoRA模块的依赖图,还引入了一种结构稀疏优化算法,利用LoRA模块的信息来更新权重,从而提高了知识的保存率。
LoRAPrune技术将LoRA与迭代结构剪枝相结合,实现了高效的参数微调和直接硬件加速。他们表示,这种方法在内存使用效率上非常高,仅依赖于LoRA的权重和梯度来进行剪枝标准。
研究人员通过在开源LLAMAv1上实施LoRAShear技术来证明其有效性,他们发现,20%的LLAMAv1剪枝后,性能下降了1%,而50%的剪枝模型在评估基准上保持了82%的性能。
尽管LoRAShear技术在LLMs的知识恢复方面取得了显著的进展,但仍然面临着大规模计算资源的需求和缺乏预训练和指导性微调数据集的挑战。未来的工作将集中在解决这些挑战,为人工智能领域的发展提供更多的支持。
论文网址:https://arxiv.org/abs/2310.18356
超1. 8万家公司使用Azure OpenAI服务,Copilot付费用户达100万
🔍划重点:1.超过18,000家组织正在使用AzureOpenAI服务,其中包括新客户,微软董事长兼首席执行官SatyaNadella表示公司正在通过OpenAIAPI扩展其数字化首选公司的服务。2.领先的人工智能初创公司正在使用OpenAI来支持其人工智能解决方案,从而将它们纳入Azure客户的行列。站长网2023-10-25 19:32:3000002022年创业公司CEO薪酬报告:不如打工人
“你以为CEO的薪资多吗?是你想多了。”作者|王王编辑|蔓蔓周首图来源:tnwcdn创业公司的CEO能拿多少薪水?这个问题不光员工关心、VC关心,广大正在创业和想要创业的人也关心。美国一家咨询机构KruzeConsulting对超过250家多个行业的创业公司进行了调研,发布《2022创业公司CEO薪酬报告》,发现了许多有趣的趋势。站长网2023-04-17 18:34:260002顶尖AI公司薪酬榜曝光:600万天价年薪震惊网友
要点:1、OpenAI以600万美元起薪领衔全美顶尖AI公司薪酬榜2、薪酬榜引发众网友热议,显示OpenAI、DeepMind等顶尖AI公司高薪资待遇3、各大科技公司年薪待遇不一,大多超过百万美元,但底薪也有很低的站长网2023-12-13 17:29:150000“未来主义者”李彦宏和他的AI少林寺
在《时代》首次发布的全球百大AI人物中,百度CEO李彦宏获得的评价是:中国最杰出的未来主义者。这种“最杰出”,指的当然是他本人,但多少也有点他本人正在领导的组织。毕竟还是在这份榜单中,还有吴恩达、Anthropic的联合创始人兼CEODarioAmodei等AI大牛,而李彦宏,是他们共同的前老板。站长网2023-09-15 09:16:400001抖音治理营造教育焦虑内容 处理相关视频961条
今日,抖音表示,平台在巡查中发现,随着暑期来临,有少部分账号集中发布“小学生二年级的暑假‘很危险’‘最可怕’”“二年级暑假不做好预习,三年级成绩一落千丈”“暑假来了,不浪费暑假60天”等营造教育焦虑的内容,不当博取关注,并以此为由售卖各种辅导类书籍。抖音称,上述行为,违反了平台规则,平台进行了严格处置。目前,平台已处理相关视频961条,并对81个账号采取了禁止发稿、限制电商带货权限等处罚。站长网2023-06-29 11:34:570000