亚马逊机器学习团队推出 Mistral 7B 基础模型 支持8000个token上下文长度
文章概要:
- Mistral7B 是Mistral AI开发的英文文本和代码生成基础模型,参数规模70亿。
- SageMaker JumpStart提供一键部署Mistral7B进行推理,可快速自定义。
- Mistral7B具有8000个token的上下文长度,表现低延迟和高吞吐量。
亚马逊机器学习团队近日宣布,Mistral AI开发的Mistral7B基础模型现已在亚马逊SageMaker JumpStart上提供,用户可以通过该平台一键部署模型进行推理。
Mistral 7B是Mistral AI开发的英文文本和代码生成基础模型,拥有70亿个参数,支持文本摘要、分类、文本补全和代码补全等多种用例。为展示模型的易于自定义性,Mistral AI还发布了Mistral7B Instruct对话模型,使用各种公开对话数据集进行了优化。
Mistral 7B采用transformer架构,通过grouped-query attention和sliding-window attention实现更快的推理速度和处理更长序列的能力。该模型具有8000个token的上下文长度,表现出低延迟和高吞吐量,与更大模型相比性能出色,参数量只有70亿,显存需求较低。Mistral7B基于宽松的Apache2.0许可发布,可无限制使用。
亚马逊SageMaker JumpStart是一个机器学习中心,提供各种预训练好的算法和模型,用户可以快速上手机器学习。现在,用户可以通过几次点击在SageMaker Studio中发现并部署Mistral 7B,或者通过SageMaker Python SDK以编程方式部署,利用SageMaker的各项功能如管道、调试器对模型性能及MLOps进行控制。模型部署在AWS安全环境下、用户的VPC控制之中,有助于确保数据安全。
SageMaker JumpStart为机器学习从业者提供了越来越多性能最好的基础模型。它们帮助降低训练和基础设施成本,并支持自定义以适应特定用例。
总结Mistral7B的主要特色功能点大致如下:
1. 参数规模达70亿,支持多种自然语言处理任务。Mistral 7B是一个具有70亿参数的基础模型,支持文本摘要、分类、补全等多种英文NLP任务。
2. 推理速度快,具有8000个token的上下文长度。Mistral 7B使用了transformer架构,可以实现低延迟和高吞吐量推理,支持长达8000个token的上下文长度。
3. 易于部署使用,提供一键体验。用户可以通过Amazon SageMaker JumpStart一键部署Mistral7B,并便捷获得其推理服务,无需训练即可使用。
4. 模型开源,基于Apache2.0协议。Mistral7B的模型权重已在宽松的Apache2.0许可下开源,用户可以无限制地使用。
SageMaker JumpStart体验网址:https://aws.amazon.com/cn/sagemaker/jumpstart/
游戏人入局、资本疯抢,谁会是下一个AI独角兽?
资本永远在追逐风口,从二次元、元宇宙、AI到短剧……每一次技术革新与新赛道的崛起将掀起投资狂潮。而自2022年底就异常火爆的AI大模型及应用,随着新技术的不断推出(如Sora的问世),至今依然备受瞩目。站长网2024-03-12 09:33:080000半年连推7款产品,AI时代字节也能大力出奇迹吗?
在过去一年,字节跳动旗下多个团队接连推出了7款基于AI的产品,分布对话、工具、互动剧情等多个类别,字节跳动在AI应用赛道再次采多方向试错的策略,积极训练大模型、测试自家模型能力、寻找AI应用场景,一次投掷多个靶面。从体量来看,尽管旗下多个产品都有一定的知名度,尤其是豆包和扣子也是各个AI社区和社群交流中的常客,但从第三方数据平台析出的数据来看,也只能算“待爆”状态。站长网2024-02-14 09:52:260001Cohere发布“构建自己的连接器” 助企业利用Slack、Google Drive数据构建AI
🤖划重点:1.Cohere推出“构建自己的连接器(build-your-ownconnectors)”:企业可安全连接Slack、GoogleDrive等第三方应用数据到其大型语言模型(CommandLLM)。2.支持跨四大云提供商的微调:Cohere称此为首个提供微调的AI公司,新功能允许企业在升级的AI平台上构建AI助手。站长网2023-12-13 10:08:300000顶流网红高火火回归快手:没有人一直站得住,所以得一直努力
“梦回2018年”,顶流网红高火火的快手直播首秀上,不少网友发出这样的感慨。4月10日,高火火正式回归快手,包括郭聪明、白小白、大萌等高火火的一众主播朋友相继亮相,并带来了众多精彩节目。他们再次在快手重聚,也让粉丝们直呼“梦幻联动”。站长网2023-04-12 15:24:580000大众50亿雪中送炭,小鹏实质收益几何?
大众对小鹏增资50亿元,引来了市场的关注和掌声。但小鹏目前最缺的不是现金流,而是持续的造血能力。作为一家主机厂商,未来小鹏与大众合作推出的车型将成为自己的竞品;作为一家解决方案提供商,小鹏还将面临诸多竞争对手。历史上很多车企之间的合作最终滑向破裂,与巨头共舞,小鹏需要更加谨慎。0000