Allen人工智能研究所推开源模型LLM OLMo 提供模型数据、训练代码等
站长网2024-02-02 10:48:591阅
Allen人工智能研究机构在Hugging Face和GitHub上发布了首个开放语言模型OLMo,意在通过提供数据、代码、模型和评估工具的开放访问,促进人工智能领域的共同研究。
这一举措的首批模型包括7B和1B规模的变体,覆盖不同架构和训练硬件,为未来更大规模、指令调整等模型的发布奠定基础。每个模型都提供全面的训练数据、权重、代码和评估工具,并在Apache2.0许可证下发布,鼓励合作构建全球最佳的开放语言模型。
截图来自官方
为了创建强大的开放模型,A12在设计中吸取了多个开放和部分开放模型的经验教训,包括EleutherAI的Pythia Suite、MosaicML的MPT模型、TII的Falcon模型和Meta的Llama系列。
对OLMo7B型号进行的评估显示,在生成任务和阅读理解上,它在许多任务上领先于Llama2,但在一些流行的问答任务上略显落后。通过与不同模型进行比较,OLMo展现出自己的优势和劣势,成为Llama2等流行模型的有力替代品。
在技术方面,OLMo的架构遵循了最新文献的趋势,包括不使用偏差、SwiGLU激活函数、Rotary位置嵌入(RoPE)等。通过一系列实验和调整,AI2发布了OLMo的第一个版本,并鼓励阅读技术报告以深入了解模型架构和培训方法。
未来,A12计划在OLMo家族中推出不同模型尺寸、模态、数据集、安全措施和评估方法,以共同构建全球最佳的开放语言模型。
OLMo的推出标志着AI2在开放研究领域的重要一步,其框架和模型的开放性为学者和研究人员提供了广泛的研究问题,推动了人工智能领域的不断发展。通过提供权重的开放访问,并鼓励合作,Allen致力于共同构建全球最卓越的开放语言模型,助力人工智能技术的进步。
0001
评论列表
共(0)条相关推荐
全球首发2K东方屏!一加12明天首销:4299元起
快科技12月10日消息,从一加官方获悉,一加十年旗舰超越之作,一加12将于12月11日(明天)10:00正式开售,起售价为4299元起。一加12手机搭载了全球首发的2K东方屏,这是国产首个通过DisplayMateA认证的2K屏,还刷新了18项纪录。0000梅西:逃得了敬酒,逃不过直播
这几天,球王梅西快被潮水般的流量薅秃了。按照行程安排,6月10球王梅西开启了自己的第七次中国行。6月15日,阿根廷与澳大利亚将有一场友谊赛。不过梅西还没出发,国内这边便热闹起来了,各种离谱的消息开始甚嚣尘上。“和梅西吃饭,30万一位,梅西会敬酒、合影”,这花式段子连小学生估计都很难骗过,主打就是一个蹭流量。如此漏洞百出的消息,你笑别人太疯癫,人家笑你看不穿,老营销号的伎俩了。站长网2023-06-13 23:54:090000京东2023年收入破万亿!人力资源支出超千亿 今年大幅涨薪
快科技3月6日消息,京东集团今天公布了2023年四季度及全年业绩。财报显示,2023年,京东全年收入达10847亿元,同比增长3.7%。全年Non-GAAP净利润352亿元,同比增长24.7%。2023年,京东集团人力资源总支出(包括自有员工和外部人员)1047亿元,持续推动高质量就业。截至2023年底,京东集团为社会创造近62万就业业岗位。000030秒出图,成本直省2万元,这类AI工具成电商领域“显眼包”
一个对摄影、布景、后期、甚至AI都零基础的小白,有没有可能零成本产出一套完整的商品大片?举个例子,通常制作一套20张的商品场景图,需要一个多工种设计团队至少耗费3天时间,成本超过2万元。但如果用AI工具做电商图,单次生成消耗的算力成本不到1元,成本降低超过90%。对于电商和品牌而言,商品图的重要性不言而喻。一张吸引眼球的商品图有时决定了消费者是否有兴趣关注并下单。站长网2023-08-30 15:37:190000锐步跟随 Nike 进军数字时尚和游戏领域 并加入人工智能技术
锐步与加密技术初创公司Futureverse建立了独家合作伙伴关系,旨在将锐步的品牌影响力扩展到虚拟领域,并“彻底改变数字世界的时尚”。此次合作将重点开发人工智能和区块链支持的游戏和数字体验。明年,Reebok和Futureverse将推出“ReebokImpact”,这是一种“令人心旷神怡的数字鞋体验”,它将结合人工智能技术和链上数字可穿戴设备。站长网2023-12-08 15:16:240000