1800亿参数,支持中文,3.5万亿训练数据!开源类ChatGPT模型
阿联酋阿布扎比技术创新研究所(Technology Innovation Institute,简称TII)在官网发布了,目前性能最强的开源大语言模型之一Falcon180B。
TII表示,Falcon180B拥有1800亿参数,使用4096个GPU在3.5万亿token 数据集上进行训练,这也是目前开源模型里规模最大的预训练数据集之一。Falcon180B有基础和聊天两个模型,允许商业化。
Falcon180B在多个权威测试平台中,在推理、编程、知识测试等方面,超过了Meta最新发布的 Llama270B 和 OpenAI 的 GPT-3.5,可媲美谷歌的PaLM2-Large仅次于GPT-4。
基础开源地址:https://huggingface.co/tiiuae/falcon-180B
聊天开源地址:https://huggingface.co/tiiuae/falcon-180B-chat
在线测试地址:https://huggingface.co/spaces/tiiuae/falcon-180b-demo
今年5月,「AIGC开放社区」曾介绍过TII发布的一款类ChatGPT开源大语言模型Falcon-40B。
该产品刚推出便成为Huggingface的开源大语言模型排行第一名,击败了LLaMa65b、GPT4-X-Alpasta-30b、LLaMa30b等众多著名开源项目成为一匹黑马。
Falcon180B便是在Falcon-40B基础之上研发而成,并将模型参数扩大了4.5倍,训练集从1万亿提升至3.5万亿token,并在算法、推理、硬件部署方面进行了大幅度优化。
其中,最大的亮点就是Falcon180B- chat版本支持中文,并进行了数据微调。
Falcon180B简单介绍
预训练方面,Falcon180通过使用 Amazon SageMaker 在多达4096个GPU上同时对3.5万亿个token数据集进行训练,总共花费了约7,000,000个小时。
TII表示,Falcon180B的规模是Llama2的2.5倍,而训练所需的算力资源是Llama2的4倍。
Falcon180B的训练数据集主要来自RefinedWeb的网络数据(大约占85%)。还在对话、技术论文和一小部分代码 (约占3%) 等,经过整理的混合数据的基础上进行了训练。
Falcon180B-chat模型在聊天和指令数据集上进行了微调,并混合了多个大规模对话数据集,使其能够更好地理解用户的文本提示意图,生成丝滑、流畅、拟人化的各种文本内容。
Falcon180B性能评测
Falcon180B在MMLU上的测试结果,优于Llama270B 和 OpenAI 的 GPT-3.5;在 HellaSwag、LAMBADA、WebQuestions、Winogrande、PIQA、ARC等测试中,可媲美谷歌的PaLM2-Large。
目前,Falcon180B在Hugging Face排行榜上得分为68.74,是得分最高的公开发布的预训练大语言模型,超越了Meta的 LLaMA2、LLaMA等。
Falcon180B- chat使用体验
「AIGC开放社区」通过在线demo体验了一下Falcon180B- chat,使用方法和ChatGPT一样,中文生成的内容基本达到了GPT-3.5的效果,支持单话题,多轮深度询问。
例如,询问,中国历史上有哪些著名诗人?Falcon180B- chat可以按照罗列的方式,列出最知名的诗人。
让其详细介绍一下李白。
再介绍一下李白对现代人的影响。Falcon180B- chat的整体回复内容非常丝滑、流畅。
关于TII
TII 成立于2020年,是阿布扎比高等教育和科技部 (ADEK) 旗下的研究机构。TII 的目标是推动科学研究、开发前沿技术并将其商业化,以促进阿布扎比和阿联酋的经济发展。
目前,TII拥有来自74个国家的800多名研究专家,发表了700多篇论文和25多项专利,是世界领先的科学研究机构之一。
UP主生态必然会经历一次自我代谢
在平台经济中,创作者的自然流动再正常不过,除了自由市场的优胜劣汰,也和个体的创作意愿等因素相关。但过去1个月,无论是UP主停更事件,还是千万粉丝UP主称四个月没接过商单的自述,都引发了巨大的讨论。必须明确的是,这些事件引发的舆论声音是远远超过实际影响的。站长网2023-05-06 09:13:550000折扣店的“羊毛”,年轻人快薅不动了
田雨最近逛“嗨特购”有些郁闷,她购买了一盒面膜和两瓶橙汁,但在结账时发现多了4元,原因是店内区分为会原价和非会员价,如果办一张99元会员卡,她可以享受到更低的会员价格。对此,她感到很不理解,“我来折扣店就是为了薅羊毛,为什么要花钱办会员才能更好地享受低价的快乐?”站长网2023-06-18 17:18:530000免费在线AI绘画工具Playground AI 无需注册!每天可画1000张
PlaygroundAI是一个免费在线的AI图像生成器,可以帮助用户轻松地创建艺术作品、社交媒体帖子、演示文稿、海报、视频、标志等。体验地址:https://playgroundai.com/核心功能:多样化的主题和风格:提供抽象艺术、动物、卡通、花卉、食物、风景、人物、文字等多种主题和风格,满足用户不同的喜好和需求。灵活的输入方式:支持通过文字或图片输入指导AI站长网2023-08-01 10:24:180001Meta CEO 扎克伯格称苹果 Vision Pro 没有「神奇的解决方案」
马克·扎克伯格在今天与员工举行的全公司范围内会议上回应了苹果发布的VisionPro。据TheVerge的AlexHeath报道,扎克伯格表示,VisionPro没有Meta没有想到的「神奇解决方案」,而且「比他们最近发布的Quest3头显贵七倍」。站长网2023-06-09 20:57:130000智谱AI推出第三代基座大模型ChatGLM3 智谱清言具备代码交互能力
智谱AI在2023中国计算机大会上发布了第三代基座大模型ChatGLM3及相关系列产品。ChatGLM3经过深度优化,在中英文公开数据集测试中表现优秀,其中MML提升36、CEval提%、GSM8K提升179%、BBH提升126%。ChatGLM3实现了多模态理解能力、代码生成和执行、网络搜索增强等新功能,并通过自研的AgentTuning技术提升了智能规划和执行能力。站长网2023-10-28 07:49:280000