又一开源替代品!Guanaco性能达ChatGPT级别 在单个GPU上训练一天就能搞定
有一种名为 QLoRA 的新方法可以在单个 GPU 上微调大型语言模型。目前已经有研究人员用它来训练 Guanaco,这是一个性能效果99% 接近ChatGPT的聊天机器人。
华盛顿大学的研究人员提出了微调大型语言模型的方法 QLoRA。该团队利用 QLoRA 发布了 Guanaco,这是一个基于Meta 的 LLaMA模型的聊天机器人系列。最大的 Guanaco 变体具有650亿个参数,在与GPT-4的基准测试中实现了ChatGPT ( GPT-3.5-turbo )99% 以上的性能。
微调大型语言模型是提高其性能和训练的最重要技术之一。然而,这个过程对于大型模型来说计算量非常大,例如 LLaMA65B ,在这种情况下需要超过780GB 的 GPU RAM。虽然开源社区使用各种量化方法将16位模型简化为4位模型,从而大大减少了推理所需的内存,但类似的方法还没有用于微调。
QLoRA 允许在单个 GPU 上微调650亿个参数 LLM
通过 QLoRA,该团队展示了一种方法,允许将 LLaMA 等模型量化为4位,并添加LORA模型,然后通过反向传播进行训练。通过这种方式,该方法可以实现4位模型的微调,并将650亿参数模型的内存需求从超过780GB 降低到不到48GB 的 GPU 内存,其结果与微调16位模型相同。
“这标志着LLM微调的可访问性发生了重大转变:现在是迄今为止在单个GPU上微调的最大公开可用模型,”该团队说。
为了测试 QLoRA 和不同微调数据集的影响,该团队在八个不同的数据集上训练了1,000多个模型。一个关键发现:数据的质量比任务的数量更重要。例如,在OpenAssistant 的9,000个人类样本上训练的模型比在 FLANv2的100万个样本上训练的模型更适合聊天机器人。因此,对于 Guanaco,该团队依赖于 OpenAssistant 数据。
开源模型 Guanaco 达到 ChatGPT 级别
该团队使用 QLoRA 训练了 Guanaco 系列模型,表现第二好的模型在基准测试中以330亿个参数实现了 ChatGPT 性能的97.8%,同时在不到12小时的时间内在单个普通的 GPU 上对其进行了训练。在专业 GPU 上,该团队仅用24小时就训练了具有650亿个参数的最大模型,并达到了ChatGPT 性能的99.3% 。
最小的 Guanaco 模型具有70亿个参数,仅需要5GB 的 GPU 内存,并且在 Vicuna 基准测试中比26GB 的羊驼模型高出20个百分点以上。
除了 QLoRA 和 Guanaco,该团队还发布了 OpenAssistant 基准测试,该基准测试在953个提示示例中让模型相互竞争。然后可以由人类或 GPT-4对结果进行评分。
Guanaco数学不好,QLoRA可用于移动微调
不过,该团队引用数学能力和4位推理目前非常慢。接下来,该团队希望提高推理能力,预计速度提升8至16倍。
由于微调是将大型语言模型转变为类似 ChatGPT 的聊天机器人的重要工具,该团队相信 QLoRA 方法将使微调更容易获得——尤其是对于资源较少的研究人员而言。他们认为,这对于自然语言处理领域尖端技术的可访问性来说是一个巨大的胜利。
论文指出:“QLORA 可以被视为一个平衡因素,有助于缩小大型企业与拥有消费类 GPU 的小型团队之间的资源差距。这也意味着,小企业可以通过像 Colab 这样的云服务进行微调大模型。
除了微调当今最大的语言模型外,该团队还看到了私有模型在移动硬件上的应用。“QLoRA 还将在您的手机上启用隐私保护微调。我们估计您每晚可以使用 iPhone12Plus 微调300万个单词。这意味着,很快我们将在手机上拥有专门针对每个应用程序的LLM。”第一作者 Tim Dettmers 在 Twitter 上说。
关于Guanaco-33B 更多信息和代码可到 GitHub 查看。
参考网址:
https://github.com/artidoro/qlora
相关产品可访问《有哪些类似chatgpt产品? 17 个ChatGPT/GPT4 开源替代品推荐(附网址)》一文了解。
微博发布50万粉丝以上自媒体账号实名通知:不实名影响流量、广告分成
快科技12月22日消息,有多位微博大V分享的图片显示,微博已经向其发布了自媒体”账号前台实名信息填写通知。其中表示,根据相关政策要求,现全网各平台50万粉丝以上的自媒体”账号需要填写实名信息,填写后将在个人资料页展示。建议您尽快点击链接《网页链接填写,已实名账号会得到更多流量和变现的支持。如您在本月底前未完成填写,您账号的公域流量和广告分成、打赏将受到限制,但账号基础功能使用不受影响。站长网2023-12-23 09:29:010000李斌:蔚来手机是防御策略 第二代研发工作已经完成
蔚来汽车董事长李斌在近日于武汉举行的车主聚会上,为在场的车主们带来了蔚来品牌的最新动态。他透露,蔚来第二代手机的研发工作已经完成,并已顺利进入制造阶段,虽然距离正式发布尚需时日,但蔚来每年都将按计划推出一款新手机,而非多款。站长网2024-03-19 17:52:180000Replit将GhostWriter融入核心平台 全面开源AI开发工具
划重点:🚀Replit直接整合GhostWriter,将AI代码补全工具提供给所有用户🌐Replit发布开源大语言模型replit-code-v1.5-3b🌍Replit致力于赋能全球开发者,将AI融入编程体验开发工具供应商Replit近日宣布一系列新举措,旨在为所有开发者带来人工智能。站长网2023-10-12 10:21:230000这些软件千万别再用了
#头条创作挑战赛#根据工业和信息化部门通信管理局报到,这46款APP已存在侵害用户权益行为。这些APP有已超范围收集个人信息,强制,频繁,过度索取权限,违规收集个人信息,收集个人信息告知不到位的等等。国家对APP早有规定,App不应收集与业务功能无任何关系的个人信息,收集个人信息应明示收集目的、方式、范围,收集使用个人信息应经用户自主选择同意,不应存在强制捆绑授权行为。站长网2023-04-14 17:01:220000抖音上线用户自主声明功能 创作者可勾选“内容由AI生成”等声明
抖音发布“2023年第二季度安全透明度报告”称,2023年第二季度,平台升级并上线了全新的规则中心,推出治理公益内容新规等多项内容,同时,平台还从推出发文助手、治理不当群聊等角度提升用户服务体验。站长网2023-09-11 14:26:350001