AI2发布开放语言模型OLMo 号称多项性能媲美Llama2
**划重点:**
1. 🚀 AI2发布了开放语言模型(OLMo),该框架旨在促进大规模语言模型的研究和实验,通过在Hugging Face和GitHub上提供训练代码、模型和评估代码来实现。
2. 🛠 OLMo的首批模型包括7B规模的四个变体和1B规模的一个模型,涵盖不同的架构、优化器和训练硬件,旨在满足多样化的研究需求。
3. 🌍 该项目的目标是建立全球最好的开放语言模型,已经启动不同规模、模态、数据集、安全措施和评估等方面的工作。
AI2最新发布的开放语言模型(OLMo)框架旨在推动大规模语言模型的研究和实验。通过在Hugging Face和GitHub上提供训练代码、模型和评估代码,AI2致力于让学术界和研究人员能够共同研究语言模型的科学,探索新的预训练数据子集对下游性能的影响,以及研究新的预训练方法和稳定性。
该项目的首批模型包括四个7B规模的最终变体,对应不同的架构、优化器和训练硬件,以及一个1B规模的模型,所有模型均在至少2T令牌上进行了训练。这是一个长期计划的第一步,计划继续发布更大规模的模型、经过指导调整的模型以及更多变体。
每个模型都提供完整的训练数据,包括生成训练数据的代码,以及用于分析预训练数据的AI2的Dolma和WIMBD。此外,还提供了完整的模型权重、训练代码、训练日志、以Weights & Biases日志形式呈现的训练指标,以及推理代码。每个模型的训练过程中的500多个检查点也可在HuggingFace上作为修订版本获得。
在创建强大的开放模型时,AI2从许多其他开放和部分开放的模型中吸取了经验,并将它们作为OLMo的竞争基准。该项目的技术报告提到,OLMo7B模型在诸如生成任务或阅读理解(如truthfulQA)等方面超过了Llama2,但在流行的问答任务(如MMLU或Big-bench Hard)上略显落后。
对于1B OLMo模型,使用AI2的Paloma和可在GitHub上获得的检查点进行了分析,以探讨模型在语言预测和模型规模等因素之间的关系。AI2强调Paloma的方法试图通过均匀采样各个领域,更平衡地表示使用语言模型的众多领域。
OLMo框架采用了最新文献中的许多趋势,包括不使用偏见(如PaLM中的稳定性)、PaLM和Llama使用的SwiGLU激活函数、Rotary位置嵌入(RoPE)以及GPT-NeoX-20B的BPE基础标记器的修改版本,旨在减少个人可识别信息。
该发布仅是OLMo和框架的开端,未来计划推出不同规模、模态、数据集、安全措施和评估等方面的工作。AI2鼓励使用OLMo模型,提供了简便的安装步骤和使用示例,并表示未来将推出指导调整的模型、完整的训练日志和wandb报告等功能。
博客网址:https://blog.allenai.org/olmo-open-language-model-87ccfc95f58
项目入口:https://top.aibase.com/tool/olmo
抖音联手KOL掀起龙年AI写真热 全网都在晒龙年芭莎AI大片
AI写真在新年再度崭露头角,此次与《时尚芭莎》合作的抖音联手“垫底辣孩”、“南翔不爱吃饭”、“Thurman猫一杯”等达人,共同打造了引人注目的龙年时尚大片,引发了一场全网AI写真热潮。截至目前,相关话题#全网都在晒龙年芭莎AI大片#和#达人为抖音AI写真做模版#在抖音平台上的播放量均达到千万级。站长网2024-02-06 14:29:140005国货商战接近尾声,是时候总结一份《实操指南》了
没想到国货商战还有后续。这两天,因为花西子的“发疯式”公关,泼天的富贵终于轮到了文具届。9月26日,因为在博文中拿铅笔做类比,花西子遭到各大文具品牌的轮番阴阳。晨光在主播额头写上“不贵”,得力自称是个“6岁零216个月的本土娃娃”,将阴阳玩得坦坦荡荡。9月28日,#花西子得力##泼天的富贵要到文具届了#等话题登上微博热搜榜。借着这波热度,得力、晨光等文具品牌终于搭上国货商战的末班车。站长网2023-09-28 14:35:440000讯飞星火APP等多个AIGC应用在苹果应用商店下架
据科创板日报报道,今日,包括讯飞星火在内的多个AIGC相关App在苹果应用商店下架,原因是这些应用在数据采集和使用环节等还不够规范,重新上架需要一段时日。从接近监管部门的权威人士处了解到,相关App下架主因是8月15日即将施行的《生成式人工智能服务管理暂行办法》。站长网2023-08-01 15:11:310000只需一个眼神!韩国医学院使用AI筛查自闭症:准确率100%
快科技12月21日消息,据媒体报道,韩国延世大学医学院近日发布了一项研究成果:可用深度学习后的人工智能算法,对儿童的视网膜照片进行分析,从而检测儿童是否患有自闭症谱系障碍(ASD)。据悉,在本次实验中,研究人员共召集了900多名年龄在7-8岁的儿童,其中有一半的儿童都患有了自闭症。随后,研究人员拍摄了所有参与者的视网膜照片。随后,研究人员使用深度学习算法分析照片与症状严重程度评分之间的关联。0000苹果将销售没有血氧检测功能的手表 预计明天上架
站长之家(ChinaZ.com)1月18日消息:近日,苹果公司面临了一项重大挑战。美国国际贸易委员会(ITC)发布禁令,禁止在美国销售AppleWatchSeries9和AppleWatchUltra2。这一禁令源于苹果与Masimo医疗科技公司之间的知识产权纠纷。站长网2024-01-18 12:01:220000