SambaNova发布全新AI芯片SN40L 可运行5万亿参数模型
文章概要:
- SambaNova发布了一款智能AI芯片SN40L,可运行高达5万亿参数的模型,实现快速可扩展的推理和训练,而不损害模型准确性。
- 这款由TSMC制造的SN40L芯片可以在单个系统节点上为5万亿参数模型提供256k 的序列长度,这是通过整合技术的新突破,大大提高了模型质量、推理速度,并降低了总拥有成本。
- SambaNova的全栈大语言模型(LLM)平台将由SN40L芯片提供动力,该平台可解决企业在部署生成式人工智能时面临的挑战,包括训练和推理成本、序列长度限制以及LLM速度。
9月26日,位于加利福尼亚帕洛阿尔托的SambaNova Systems公司宣布推出一款革命性的新芯片,名为SN40L。这款芯片将为SambaNova的全栈大语言模型(LLM)平台SambaNova Suite提供动力,并具有革命性的内部设计:在内部,它提供了密集和稀疏计算,同时包括大内存和快速内存,使其成为一款真正的“智能芯片”。
图源备注:图片由AI生成,图片授权服务商Midjourney
SambaNova的SN40L芯片由TSMC制造,可以为5万亿参数模型提供256k 的序列长度,这在单个系统节点上实现,这是通过整合技术的新突破,大大提高了模型质量,同时实现更快的推理和训练速度,降低了总拥有成本。
SambaNova Systems的联合创始人兼CEO Rodrigo Liang表示:“今天,SambaNova提供了唯一的全栈LLM平台——SambaNova Suite,现在还有一款智能AI芯片;这对全球2000家企业来说是一个改变游戏规则的产品。”他还表示:“我们现在能够在一个芯片中提供这两种能力——更多内存的能力,以及最智能的计算核心——使组织能够充分利用广泛应用人工智能的承诺,拥有自己的LLM,可以媲美GPT-4及更高级别的模型。”
这款新芯片只是SambaNova全栈LLM平台的一部分,该平台解决了企业在部署生成式人工智能时面临的最大挑战:“我们已经开始看到对较小模型的需求增加,但更大的模型仍然更好,更大的模型将开始变得更加模块化,”SambaNova Systems的联合创始人Kunle Olukotun表示,“客户要求拥有像GPT-4这样的千亿参数模型的LLM,但他们也希望拥有根据他们的数据进行优化的模型。通过新的SN40L芯片,我们迄今为止最先进的AI芯片,集成到全栈LLM平台中,我们为客户提供了运行最大LLM模型的关键,具有更高的训练和推理性能,而不损害模型准确性。”
SN40L芯片的独特之处在于它可以同时处理高带宽内存(HBM)和动态随机存取内存(DRAM),使人工智能算法能够选择最适合当前任务的内存,从而直接访问远比以前更多的内存。此外,通过使用SambaNova的可重构数据单元(RDU)架构,芯片设计以更智能的计算方式高效运行稀疏模型。
SambaNova Suite中的新模型和功能包括Llama2变种(7B、70B),使客户能够自适应、扩展并运行最佳的LLM模型,同时保留这些模型的所有权。此外,还有BLOOM176B,这是开源社区中最准确的多语言基础模型,使客户能够通过各种语言解决更多问题,同时还可以扩展模型以支持新的低资源语言。
SambaNova 还包括一个用于基于向量的检索增强生成的新嵌入模型,使客户能够将其文档嵌入到向量嵌入中,在问答过程中检索这些嵌入,而不会导致幻觉。LLM然后将结果用于分析、提取或总结信息。此外,还有世界领先的自动语音识别模型,用于转录和分析语音数据,以及其他多模态和长序列长度功能。此外,还提供了推理优化系统,配备了3层数据流内存,以实现高带宽和高容量。
雷军在线求助:经常看到小米汽车的各种谣言 咋办?
站长之家(ChinaZ.com)2月23日消息:近日,小米汽车的谣言在网络上满天飞,引起了广泛关注。雷军作为小米的创始人,对此感到非常困扰,并在微博上向网友求助,询问如何应对这些谣言。站长网2024-02-23 17:45:590000OpenAI提议像管核设施一样管AI!马斯克极力赞同
随着人工智能的飞速发展,人们对于其超越人类的担忧也越来越多。近日,OpenAICEOSamAltman、总裁GregBrockman和首席科学家IlyaSutskever联名发表了一篇“呼吁信”,提议建立一个国际监管机构来监督人工智能(AI)的开发和部署。该组织的领导人认为,这样一个机构对于确保以安全和负责任的方式开发和使用人工智能是必要的。站长网2023-05-23 15:32:590000亚马逊试点基于AI的产品广告图像生成工具
划重点:📊亚马逊试验广告图像生成AI工具,以改进广告创意。📈广告商可以轻松地将产品转化为引人注目的广告图像。🌐亚马逊旨在通过AI技术改变数字广告领域。亚马逊最近宣布试点一项AI驱动的广告图像生成工具,旨在帮助广告商改进其广告创意。这一创新的工具将AI技术融入广告和营销工具中,使广告商能够将普通的产品图像和文案材料转化为引人注目的广告视觉效果。站长网2023-11-06 11:59:180000猎户星空开源OrionStar-Yi-34B-Chat模型 免费可商用
人工智能服务型解决方案提供商“猎户星空”发布了一款基于零一万物开源的Yi-34B模型微调后的chat模型——OrionStar-Yi-34B-Chat。站长网2023-11-23 08:33:1900016个月,1000w!抖音上半年涨粉最猛的他有什么秘密?
站长网2023-07-26 15:15:510001