英伟达发布最强AI加速卡 大语言模型性能比H100提升30倍
站长网2024-03-19 11:58:270阅
英伟达在 GTC 开发者大会上发布了最强 AI 加速卡 Blackwell GB200,计划今年晚些时候发货。
GB200采用新一代 AI 图形处理器架构 Blackwell,其 AI 性能可达20petaflops,比之前的 H100提升了5倍。每个 Blackwell Die 的浮点运算能力比 Hopper Die 高出25%,每个封装中有两个 Blackwell 芯片,总性能提高了2.5倍。
GB200包含两个 B200Blackwell GPU 和一个基于 Arm 的 Grace CPU,推理大语言模型性能比 H100提升30倍,成本和能耗降低至25分之一。
NVIDIA 表示,2000个 Blackwell GPU 就能完成之前需要8000个 Hopper GPU 和15兆瓦电力的训练任务。英伟达还提供了 GB200NVL72服务器,提供了36个 CPU 和72个 Blackwell GPU,并实现了720petaflops 的 AI 训练性能或1.4exaflops 的推理性能。
英伟达的系统还可扩展至数万 GB200超级芯片,具有11.5exaflops 的 FP4计算能力。
0000
评论列表
共(0)条相关推荐
Meta 开放 LLaMA 2 模型使得人工智能竞赛可能结束比预期的早
最近的一项交易表明,人工智能领域可能会看到越来越多的合作伙伴关系,而不仅仅是一对一的竞争。Meta早先本周在开放许可下免费提供其LLaMA2大型语言模型,并将其引入微软的Azure平台。这一决定突显了AI互操作性的好处,随着更多公司加入这个领域,这可能不会是最后一个类似的合作。站长网2023-07-21 15:17:270000拼多多发布第三季度财报,营收同比增长94%
站长之家(ChinaZ.com)11月28日消息:拼多多今日发布了截至9月30日的2023年第三季度财报。以下是财报的详细内容:站长网2023-11-28 23:43:210000研究团队开发开源大模型训练框架 Oobleck 提供快速且有保障的故障修复
要点:密歇根大学的研究团队开发了一种名为Oobleck的开源大型模型训练框架,利用管道模板的概念,提供了快速而有保障的故障恢复,避免训练吞吐量下降。Oobleck的设计核心是管道模板,这是针对给定节点数量的训练管道执行的规范,用于实例化管道副本。这些模板在逻辑上等效(可以一起用于训练相同的模型),但在物理上是异构的(使用不同数量的节点),从而在保障容错性的同时提供高吞吐量和快速恢复。站长网2023-12-19 18:57:280003申通创始人25岁身亡,14年后妻子改嫁,股份给马云套现146亿退场
近几年,随着电商的不断发展,快递行业以肉眼可见的速度迅速崛起,在快递,流传着五大巨头的传说——中通、申通、韵达、邮政、圆通、顺丰。而五大巨头之一的申通创始人不仅凭一己之力开创了中国民营快递的开端,还使得申通快递在刚刚上市时独占鳌头。但谁曾想,申通创始人聂腾飞在25岁因意外去世,他的妻子在他去世后扛起大旗,走出了自己的一段传奇人生。站长网2023-04-14 17:03:330000小红书为什么做了这个决定?
9月15日,小红书福利社发布了一封题为《是告别,更是开始》的用户信。这封信写到,为了更好地满足快速增长的用户需求,小红书将集中资源和力量,服务更多买手、主理人、商家和品牌在电商的发展。福利社将于10月16日停止商品售卖,11月16日正式关闭店铺。01为用户而诞生的福利社站长网2023-09-16 09:28:070000