MosaicML发布大型语言模型 MPT-7B 可商用
站长网2023-05-11 12:02:560阅
MosaicML 的 MPT-7B 是一个具有近70亿个参数的大型语言模型,该团队在自己的近万亿个标记的数据集上对其进行了训练。
MosaicML 遵循 Meta 的LLaMA模型的训练方案。培训花费近200,000美元,使用 MosaicML 平台耗时9.5天。
MosaicML表示,MPT-7B 与 Meta 的70亿参数 LLaMA 模型的性能相匹配,使其成为第一个达到该水平的开源模型,领先于OpenLLaMA。与 Meta 的模型不同,MPT-7B 已获得商业使用许可。
除了“MPT-7B Base”模型,MosaicML 还发布了三个变体:MPT-7B-StoryWriter-65k 、MPT-7B-Instruct 和 MPT-7B-Chat。
借助 MPT-7B-StoryWriter-65k ,MosaicML 还发布了一个模型,该模型能够读取和写入上下文长度非常长的故事。为此,使用 books3数据集的子集对 MPT-7B 进行了微调,上下文长度为65,000个标记。OpenAI 最大的 GPT-4变体能够处理32,000个标记。
根据 MosiacML 的说法,该模型可以通过一些优化扩展到超过65,000个token,并且该团队已经在使用 Nvidia A100-80GB GPU 的单个节点上展示了多达84,000个token。但即使有65,000个token,也可以阅读整部小说并写一篇结语。
项目网址:https://github.com/mosaicml/llm-foundry
0000
评论列表
共(0)条相关推荐
AI正在复活逝者
外公去世十年后,算法工程师用AI复活了他。和他交谈十余小时后,工程师决定删除参数,关闭程序,永远不再回来。注:图片由midjourney生成与逝者对话尽管面临争议,但利用AI复活逝者,在国外正在成为一个新兴的产业。登录ProjectDecember网站,只要填写一份问卷,提供模拟对象的姓名、年龄和爱好,外加具体记忆和事实,就能和AI模拟出的逝者对话,一切只要10美元。站长网2023-05-26 17:30:190000没电话卡也没装支付宝,孩子还能为手游充值万余元?游戏方回应了
近年来,未成年人手游充值问题成为不少家长的困扰,泉州的陈女士就是其中之一。未成年人充值手游频繁选择“最高消费”今年5月初,陈女士的丈夫突然收到一条扣款提醒,账单显示向广东欢太科技有限公司支出648元。陈女士顺着这条扣款信息往前一查,发现从4月份开始,丈夫的支付账户上陆续有51笔转向该家公司的开支,金额更是高达18232元。站长网2023-05-24 07:58:520000全球最大音频流媒体公司Spotify裁员17%:遣散费约2.7亿元
快科技12月4日消息,据国内媒体报道,全球最大音频流媒体公司Spotify(声破天)周一宣布,将裁减大约17%的全球员工。这一数字约占Spotify全球9000名员工中的1500人,公司称这是经济增长大幅放缓”的结果。该公司CEO丹尼尔埃克今日表示,今天的决定不是后退”,而是战略调整”,公司预计将产生至少3500万欧元(约合人民币2.71亿元)的遣散费用。0000tldraw发布病毒式应用 使用GPT-V自动生成网页代码
近日,tldraw发布了一款引人注目的病毒式应用程序,为用户提供了一种全新的软件设计体验。这款应用程序允许用户利用类似绘画的界面迅速设计软件,并通过其强大的GPT-V引擎自动生成相应的Web代码。这一创新功能不仅表现出色,生成的代码健壮可靠,而且还支持自然语言指令,为用户提供了更加灵活和便捷的操作方式。站长网2023-11-23 12:10:050001Hugging Face聊天助手上线 两步就能创建自定义机器人
划重点:🌐创建个人助理:在HuggingFaceChat中轻松建立自己的助手!🚀功能介绍:与OpenAIGPT相似,定制名字、头像、描述,选择开放LLM,定义系统消息和启动器。🔗开始体验:立即访问huggingface.co/chat/assistants开始创建您的助手吧!站长网2024-02-04 09:37:110000