邢波团队提出全开源倡议LLM360 让大模型实现真正的透明
要点:
LLM360是邢波团队提出的全方位开源倡议,旨在使大型语言模型的训练过程真正透明,包括训练数据、代码、模型检查点和性能指标等全方位开放。
LLM360的框架包括训练数据集与处理代码、训练代码与配置、模型检查点以及性能指标,提供了标准以确保更好地在社区中流通与共享,推动人工智能领域的开放合作研究。
研究者通过LLM360框架发布了两个大型语言模型:AMBER和CRYSTALCODER,详细揭示了它们的开发细节、评估结果以及对于LLM研究的经验和教训。AMBER在性能上相对较强,CRYSTALCODER在语言和代码任务之间取得平衡。
开源模型在人工智能领域展现强大活力,但闭源策略限制了LLM(大型语言模型)的发展。邢波团队提出的LLM360全面开源倡议旨在解决这一问题。该框架明确了包括训练数据、代码、模型检查点和性能指标在内的各方面细节,为当前和未来的开源模型树立了透明度的样本。
论文地址:https://arxiv.org/pdf/2312.06550.pdf
项目网页:https://www.llm360.ai/
博客:https://www.llm360.ai/blog/introducing-llm360-fully-transparent-open-source-llms.html
LLM360的核心组成部分包括训练数据集、训练代码与配置、模型检查点以及性能指标。这一全方位的开源使得研究者可以更好地在社区中分享与流通,推动人工智能领域的开放合作研究。同时,LLM360框架下发布的AMBER和CRYSTALCODER是两个从头开始预训练的大型语言模型,为研究者提供了开发经验和性能评估结果。
AMBER是基于1.3T token进行预训练的7B英语语言模型,性能相对较强。而CRYSTALCODER是基于1.4T token训练的7B语言模型,在语言和代码任务之间取得了很好的平衡。这两个模型的开源不仅提供了性能评估结果,还为整个LLM领域的研究提供了实质性的经验和教训。
总体而言,LLM360的提出为大型语言模型的透明训练提供了一个标准,推动了开源模型的发展,加速了人工智能领域的进步。这一全面开源的趋势有望促进更多研究者的参与与合作,推动人工智能技术的不断创新。
社交媒体参与度下降,BuzzFeed希望用AI打翻身仗
本文概要:1.BuzzFeed的收入下降,计划依靠AI生成内容来挽救业务。2.社交媒体参与度下降,BuzzFeed决定将重点转向自有平台。3.BuzzFeed计划通过更多AI生成的内容和新的广告策略来提高用户参与度。站长网2023-08-09 16:49:370000Runway上线文字生成语音功能 英文效果惊艳
近日,Runway悄悄上线了之前所说的文字生成语音功能。初次尝试英文效果,其自然丰富的情感令人惊叹。然而,中文语音依然存在老问题,带有外国人口音,这一问题可能无法指望外国公司来解决。体验地址:https://app.runwayml.com该功能提供了多种语音模型可供选择,并且目前只需消耗右上角的点数即可生成长时间可用的语音。站长网2023-12-18 18:58:370000全面对标 OpenAI,智谱 AI 想要开发者
从成立之初就一直对标OpenAI,也被称为「中国OpenAI」的智谱AI,发布了新一代基座大模型GLM-4,性能相比上一代大幅增强,逼近GPT-4。并且,如几年前萨提亚·纳德拉带领微软全面拥抱开发者、开源一般,直接打出了「GLM❤️开源」、「GLM❤️开发者」的Slogan。“对标OpenAI的全栈大模型生态,我们努力赶上。”智谱AICEO张鹏这样说道。站长网2024-01-17 14:07:320000电商平台探索新增量,店播、垂类、采销“百花齐放”
这是淘宝天猫的第15个双11,电商的发展已经从高增长时代进入新的竞争阶段。今年,低价一词几乎成为双11的关键词之一。从各大电商平台,到超头部主播,均试图通过价格力留住用户。面对低价竞争,平台竞争者是怎么想的?进入存量市场,电商平台在哪里挖掘新增量?有哪些新变化?电商盯上“品质低价”站长网2023-11-16 13:54:530000库克确认苹果将推AI新功能 颠覆智能手机体验
苹果公司首席执行官蒂姆·库克在周四的季度财报电话会议上透露,该公司正在开发生成式人工智能软件功能,并计划于今年晚些时候向客户提供。业界人士表示,即将发布的iOS18将是操作系统历史上“最大”的一次更新。库克在讲话中并未详细说明这些功能,但他表示,苹果在人工智能领域投入了大量时间和精力,并对即将发布的功能感到兴奋。他强调,苹果将继续投资于人工智能等未来技术。站长网2024-02-02 10:16:140000