开源大模型训练框架Megatron-LLaMA来了 32卡训练可加速176%
要点:
淘天集团联合爱橙科技正式对外开源大模型训练框架Megatron-LLaMA,以提高大语言模型训练性能,降低训练成本。
测试显示,相比HuggingFace代码,Megatron-LLaMA在32卡训练上获得176%的加速;在大规模训练上表现出几乎线性的扩展性。
Megatron-LLaMA已在GitHub开源,将持续关注社区发展,与开发者共同推进自适应配置、更多模型支持等方向。
9月12日,淘天集团联合爱橙科技正式对外开源大模型训练框架Megatron-LLaMA,以让技术开发者们更方便地提升大语言模型训练性能,降低训练成本。
据悉,Megatron-LLaMA是一个基于Megatron-LM的分布式深度学习训练框架,专门用于大规模语言模型LLaMA的训练。LLaMA已经成为开源社区中最杰出的大规模语言模型之一,它集成了BPE词元化、预规范化、旋转嵌入、SwiGLU激活函数、RMSNorm和非绑定嵌入等多项优化技术,在客观和主观评价中都展现出卓越的结果。
项目地址:https://github.com/alibaba/Megatron-LLaMA
LLaMA开发了7B、13B、30B和65B/70B多个模型规模的版本。在开源社区中,也出现了许多基于LLaMA的成功变体,无论是通过连续训练/监督微调还是从零开始训练,都进一步证明了LLaMA在长上下文理解、长上下文生成、代码编写、数学问题求解、工具使用等任务上的卓越能力。
然而,由于大规模语言模型的训练或微调都需要强大的计算资源,开发者自己尝试在LLaMA上实现新的设计往往非常昂贵。Megatron-LM是一个集成了张量并行、流水线并行和序列并行的分布式训练解决方案,可以在训练具有数百亿参数的模型时充分利用硬件资源,使资源利用率远高于基于Huggingface和DeepSpeed实现的公开版LLaMA。但是,原生的Megatron-LM在极大规模下会遭受分布式优化器的通信瓶颈。
测试显示,相比HuggingFace直接获得的代码,Megatron-LLaMA在32卡训练上获得176%的加速效果。在大规模训练上,Megatron-LLaMA相对原生Megatron-LM有几乎线性的扩展性,且对网络稳定性表现出高容忍度。
Megatron-LLaMA改进了DistributedOptimizer的梯度聚合机制,实现梯度通信与计算的并行,从而优化了反向传播流程。
当前Megatron-LLaMA已在GitHub上开源,淘天集团和爱橙科技将共同维护,并积极关注社区发展,与开发者们在自适应配置选择、模型支持等方面进行合作,以推动Megatron和LLaMA生态建设。
Megatron-LLaMA的主要特点如下:
在Megatron-LM中实现了标准的LLaMA,可以按需配置其中的优化技术。未来还将支持Alibi和FlashAttention2等特性。
通过实现高度重叠的通信和计算,提升了通信计算并行性,与DeepSpeed ZeRO Stage2类似,大大减少了GPU内存占用,提高了吞吐量。
提供了分布式检查点保存/恢复等实用工具,加速了训练过程,支持与HDFS等分布式文件系统集成;支持与HuggingFace transformers库的tokenizer集成,方便下游任务迁移。
Megatron-LLaMA使LLaMA模型的大规模训练变得快速、经济高效且具备可扩展性。它降低了训练大模型的门槛,是开源社区一个重要的贡献。
三星等减产威力巨大!NAND Flash涨幅最高13%:SSD等存储开始涨价
快科技10月16日消息,SSD等存储要涨价了,所以你要提前准备采购了吗?据TrendForce集邦咨询集邦咨询研究显示,由于供应商严格控制产出,NANDFlash第四季合约价全面起涨,涨幅约8~13%。8~13%的涨价幅度超出此前预期。TrendForce在9月11日的报告中预计,四季度NANDFlash均价有望持平或小幅上涨,环比涨幅约0~5%。站长网2023-10-17 11:10:320000笔神作文称学而思AI大模型盗窃其数据 后者回应:数据调用均符合合同要求
针对“笔神作文称学而思AI大模型盗窃其数据”一事,学而思官方回应称,对笔神作文接口的调用,属于双方合同约定的正常合作范围,对笔神素材内容的使用均符合合同要求,并未用于合同以外的任何用途。此外,对方在公开声明中提及学而思正在研发的数学大模型MathGPT以及学而思学习机“作文AI助手”,并主观揣测我方使用其数据用于两款产品的训练和研发,这与事实严重不符。站长网2023-06-14 13:54:280000昆仑万维开源百亿级大语言模型「天工」Skywork-13B 系列
10月30日,昆仑万维宣布开源了百亿级大语言模型「天工」Skywork-13B系列,并提供了超大规模的高质量中文数据集。该系列包括两个模型:Skywork-13B-Base和Skywork-13B-Math,它们在多个评测和基准测试中都表现出了同等规模模型的最佳效果。此外,昆仑万维还开源了600GB、150BTokens的中文语料数据集。这是目前最大的开源中文数据集之一。站长网2023-10-30 13:57:470000谷歌发布人工智能笔记应用 NotebookLM:基于源文档私人专属 AI
Google今天推出了一款名为GoogleNotebookLM的新产品,这是他们第三款笔记应用,继2008年至2012年的GoogleNotebook和2013年至今的GoogleKeep之后推出的。GoogleNotebookLM网站截图站长网2023-07-13 21:47:390003不仅限于科技巨头 瑞银报告揭示哪些行业有望受益于 AI 技术
生成式人工智能(AI)技术的迅猛崛起正在推动金融市场的变革,而其中受益的公司可能不仅限于通常在AI讨论中提及的传统科技巨头。站长网2023-06-02 16:05:460000