微软开源“傻瓜式”类ChatGPT模型训练工具,提速省钱15倍
在利用 OpenAI 的 GPT-4为 Bing Chat、 Bing Image Creator、Microsoft365Copilot、Azure OpenAI Service 和 GitHub Copilot X 引入了类似 ChatGPT 的功能后。微软现又宣布推出 DeepSpeed-Chat,一种用于 RLHF 训练的低成本开源解决方案,基于微软开源的深度学习优化库DeepSpeed;声称即使是使用单个 GPU,任何人也都可以创建高质量的 ChatGPT 式模型。
该公司表示,尽管开源社区付出了巨大的努力,但目前仍缺乏一个支持端到端的基于人工反馈机制的强化学习(RLHF)的规模化系统,这使得训练强大的类 ChatGPT 模型十分困难。ChatGPT 模型的训练是基于 InstructGPT 论文中的 RLHF 方式,与常见的大语言模型的预训练和微调截然不同,使得现有深度学习系统在训练类 ChatGPT 模型时存在种种局限。因此,为了让 ChatGPT 类型的模型更容易被普通数据科学家和研究者使用,并使 RLHF 训练真正普及到 AI 社区,他们发布了 DeepSpeed-Chat。
DeepSpeed-Chat 具有以下三大核心功能:
简化 ChatGPT 类型模型的训练和强化推理体验:只需一个脚本即可实现多个训练步骤,包括使用 Huggingface 预训练的模型、使用 DeepSpeed-RLHF 系统运行 InstructGPT 训练的所有三个步骤、甚至生成你自己的类 ChatGPT 模型。此外,还提供了一个易于使用的推理 API,用于用户在模型训练后测试对话式交互。
DeepSpeed-RLHF 模块:DeepSpeed-RLHF 复刻了 InstructGPT 论文中的训练模式,并确保包括 a) 监督微调(SFT),b) 奖励模型微调和 c) 基于人类反馈的强化学习(RLHF)在内的三个步骤与其一一对应。此外,还提供了数据抽象和混合功能,以支持用户使用多个不同来源的数据源进行训练。
DeepSpeed-RLHF 系统:其将 DeepSpeed 的训练(training engine)和推理能力(inference engine) 整合到一个统一的混合引擎(DeepSpeed Hybrid Engine or DeepSpeed-HE)中用于 RLHF 训练。DeepSpeed-HE 能够在 RLHF 中无缝地在推理和训练模式之间切换,使其能够利用来自 DeepSpeed-Inference 的各种优化,如张量并行计算和高性能 CUDA 算子进行语言生成,同时对训练部分还能从 ZeRO- 和 LoRA-based 内存优化策略中受益。DeepSpeed-HE 还能够自动在 RLHF 的不同阶段进行智能的内存管理和数据缓存。
文档内容指出,DeepSpeed Chat 与其他先进方案相比的优势在于:效率和经济性方面比现有系统快15倍以上,在 Azure 云上只需9小时即可训练一个 OPT-13B 模型,只需18小时既可训练 OPT-30B 模型,分别花费不到300美元和600美元。
在速度和可扩展性方面,即使是13B 的模型也可以在1.25小时内训练,庞大的175B 模型可以在不到一天的时间内使用64个 GPU 集群进行训练。在 RLHF 的可访问性和普及化方面,则可以在单个 GPU 上训练超过130亿参数的模型。此外还支持在相同的硬件上分别运行6.5B 和50B 的模型,实现高达7.5倍的提升。
尽管近期关于对ChatGPT 类大语言模型发展的反对和担忧之声不断,但微软似乎仍在全力推进其 AI 开发。对于微软的此次发布,前 Meta AI 专家 Elvis 也激动地表示,DeepSpeed Chat 提供了 Alpaca 和 Vicuna 等所缺少的、一个端到端的 RLHF 管道来训练类似 ChatGPT 的模型,解决的是成本和效率方面的挑战。这是 “微软令人印象深刻的开源努力...... 是一件大事”。
更多详情可查看官方文档:
https://github.com/microsoft/DeepSpeed/blob/master/blogs/deepspeed-chat/chinese/README.md
特斯拉发布2023第二季度财报 净利润为27.03亿美元
7月19日美股收盘后,特斯拉发布了2023年第二季度财报。根据财报数据,该公司在今年第二季度的收入达到了249.27亿美元,同比增加了47%,超过了市场预测的245.1亿美元;净收益(GAAP)为27.03亿美元,同比上涨了20%,也高于市场预期的23.9亿美元;自由现金流为10.1亿美元,低于市场预期的21.8亿美元。站长网2023-07-20 11:07:560000Opera推新浏览器“One”,新增集成ChatGPT的AI助手Aria
日前,最新版本的Opera浏览器OperaOne提供了一个全新的功能:Aria,一个基于OpenAI的GPT模型的人工智能助手。Opera宣称,这款浏览器是"第一个真正的原生浏览器人工智能",该浏览器的人工智能功能是OperaOne主要功能之一,类似于微软的BingChat集成了ChatGPT功能,用户可以通过命令行或浏览器侧边栏调用Aria。站长网2023-06-21 16:57:540000一加Ace 3V普及旗舰AI能力:支持小布知识问答、点评
快科技3月19日消息,一加已宣布,将于3月21日19点举行新品发布会,为大家带来一加Ace3V。一加中国区总裁李杰表示,一加Ace3V要做AI普及者,做年轻人的第一台AI手机。据介绍,一加将AI能力写入第三代骁龙7的底层,实现了AI全局性能规划,可以对能效进行精细化分配,让第三代骁龙7拥有超出处理器本身的强悍性能。站长网2024-03-19 17:13:140001百度旗下小度将进军手机市场 产品5月底发布整合AI能力
据36氪消息,据百度旗下小度内部透露,该公司将进军智能手机市场,并计划在5月下旬发布旗下的第一款智能手机。该手机将整合小度AI技术能力,被称为智能手机市场的“新物种”,目前正处于发布前的最后准备阶段。据了解,目前,小度灵机大模型正在内测中。小度灵机融合了文心一言的全面能力,打造针对智能设备场景的人工智能模型,将应用到小度全系产品。站长网2023-05-08 09:56:380000手机就能运行,1万亿训练数据!StableLM-3B-4E1T来啦
美东时间10月2日,著名开源平台Stability.ai在官网宣布,推出开源大语言模型StableLM-3B-4E1T。(开源地址:https://huggingface.co/stabilityai/stablelm-3b-4e1t)据悉,StableLM3B是一款主要面向手机、笔记本等移动设备的基础大语言模型,在保证性能的前提下,极大降低了算力资源的要求。站长网2023-10-03 16:39:200000