MosaicML推开源大语言模型MPT-7B-8K 上下文长度达8k
站长之家(ChinaZ.com)7月20日 消息:MosaicML 发布了名为 MPT-7B-8K 的7B 参数开源语言模型(LLM),支持8K 的上下文长度。与以前的模型相比,MPT-7B-8K LLM 在摘要和回答任务方面展现出卓越的能力。
据该公司称,该模型在 MosaicML 平台上进行训练,并从 MPT-7B 检查点开始进行预训练过程。预训练阶段使用Nvidia H100进行,另外在256个 H100上进行了三天的训练,包含了令人印象深刻的5000亿个token数据。
MosaicML 发布的 MPT-30B 在人工智能社区引起了轰动,MPT-30B 是一种开源且商业许可的基于解码器的 LLM。该公司声称其比GPT-3-175B更强大,参数只有GPT-3的17%,相当于300亿。
MPT-30B 在各种任务中的性能都超过了 GPT-3,并且证明比类似大小的模型训练效率更高。例如,LLaMA-30B 所需的 FLOPs 预算比 MPT-30B 大约高1.44倍,而 Falcon-40B 的 FLOPs 预算比 MPT-30B 高1.27倍。
MosaicML 声称,与之前发布的所有型号相比,新型号 MPT-7B-8K 在文档摘要和问答任务方面表现出卓越的熟练程度。该模型专门针对加速训练和推理进行了优化,以获得更快的结果。此外,它还允许在 MosaicML 平台内微调特定领域的数据。
该公司还宣布提供 MPT-7B-8k 的商用版本,强调其在包含1.5万亿token的广泛数据集上的出色训练,超越了 XGen、LLaMA、Pythia、OpenLLaMA 和 StableLM 等类似模型。
MosaicML 声称,通过使用 FlashAttention 和 FasterTransformer,该模型在快速训练和推理方面表现出色,同时受益于llm-foundry 存储库提供的开源训练代码 。
该公司发布了三种版本的模型:
MPT-7B-8k-Base: 这种解码器式 Transformer 基于 MPT-7B 进行预训练,并进一步优化,扩展序列长度为8k。它接受了5000亿个令牌的额外训练,产生了包含文本和代码的1.5万亿个token的大量语料库。
MPT-7B-8k-Instruct: 该模型专为长格式教学任务而设计,包括总结和问答。它是通过使用精心策划的数据集对 MPT-7B-8k 进行微调而制作的。
MPT-7B-8k-Chat: 此变体充当类似聊天机器人的模型,专注于对话生成。它是通过使用约15亿个聊天数据token对 MPT-7B-8k 进行微调而创建的。
Mosaic 声称,MPT-7B-8k 模型表现出与当前其他具有8k 上下文长度的开源模型相当或更好的性能,该公司的上下文学习评估工具证实了这 一点。
官方博客:https://www.mosaicml.com/blog/long-context-mpt-7b-8k
英伟达发布新一代AI处理器H200 性能较H100提高60%至90%
昨日晚间,英伟达Nvidia推出了H200,这是一款专为训练和部署生成式人工智能模型的图形处理单元(GPU)。它基于NVIDIAHopper架构,具有先进的内存和处理能力,可处理海量的数据用于生成式AI和高性能计算工作负载。站长网2023-11-14 09:09:550000商汤与上海AI实验室等发布“书生·浦语”大模型
近日,商汤科技、上海AI实验室联合香港中文大学、复旦大学及上海交通大学发布千亿级参数大语言模型“书生·浦语”(InternLM)。“书生·浦语”具有1040亿参数,是在包含1.6万亿token的多语种高质量数据集上训练而成。站长网2023-06-08 07:06:200000三星Exynos 2400可能采用10核心设计 性能接近苹果M2
据phonearena消息,关于三星Exynos2400SoC的最新消息来自爆料者RGcloudS,他说芯片的最终配置和封装信息仍然悬而未决,因为三星正在权衡其关于芯片组的选择,这可能会为明年的旗舰GalaxyS24系列提供。爆料者还指出,虽然Exynos2400将拥有10个CPU核心,但所有10个核心不会同时运行。相反,将根据每个任务优化使用的核心数量。站长网2023-07-14 00:35:440000英国科技大臣表示不打算设立全球AI监管机构
划重点1.英国科技大臣MichelleDonelan拒绝了设立全球人工智能监管机构的建议,强调英国计划将其AI安全峰会视为建立国际网络和框架的起点,以识别和管理新兴技术的风险。2.她明确表示,该峰会不旨在制定全球性法律法规或建立全球AI监管机构,以平息有关英国是否意欲成为新的全球AI监管机构所引发的猜测。站长网2023-10-18 22:09:430000微信进一步规范“自媒体”内容来源标注 需标注内容由AI生成等
微信官方发文称,根据《关于加强“自媒体”管理的通知》(以下简称《通知》)要求,“自媒体”账号在发布涉及国内外时事、公共政策、社会事件等相关信息时,应准确标注信息来源,发布时在显著位置展示。站长网2023-12-19 18:57:280000