谷歌、英特尔、英伟达在生成式人工智能训练领域展开较量
最近,作为计算机系统训练机器学习神经网络能力的公开标准测试,MLPerf 已全面步入生成型人工智能(AI)时代。
今年早些时候,MLPerf 增加了一个针对训练大型语言模型(LLM)的测试,特别是 GPT-3。本月,它又添加了一个基于文本生成图像的测试——Stable Diffusion。搭载英伟达和英特尔处理器的计算机接受了这一新基准的挑战。此外,在训练 GPT-3 的领域,这两个竞争对手还迎来了谷歌的加入。
所有三家公司都投入了庞大的系统来完成这一任务——其中,英伟达的 10,000 GPU 超级计算机是迄今为止测试过的最大系统——这种规模对于生成型 AI 来说是必要的。即便是英伟达最大的系统,也需要工作八天才能完成其 LLM 任务。
总体而言,19 家公司和机构提交了 200 多个结果,显示出过去五个月以来 2.8 倍的性能提升,以及自 MLPerf 成立五年来 49 倍的增长。
英伟达继续以其 H100 GPU 构建的系统主导 MLPerf 基准测试。然而,最引人注目的是来自公司新的 10,752-GPU AI 超级计算机 Eos 的结果。Eos 在不到 4 分钟的时间内完成了 GPT-3 训练基准的任务。微软的云计算部门 Azure 测试了同等规模的系统,仅落后 Eos 几秒钟。(Azure 支持 GitHub 的编码助手 CoPilot 和 OpenAI 的 ChatGPT。)
Eos 的 GPU 能够实现总计 42.6 亿亿次浮点运算(exaflops),并且通过 Nvidia 的 Quantum-2 Infiniband 互联技术,实现了每秒 1.1 百万亿字节的传输速度。英伟达 AI 基准测试和云计算总监 Dave Salvatore 表示:「这些速度和数据的规模令人震惊,这是一台极其强大的机器。」
Eos 将绑定到单一机器中的 H100 GPU 数量增加了三倍。这三倍的增长获得了 2.8 倍的性能提升,或 93% 的扩展效率。高效的扩展是持续改进生成型 AI 的关键,这些 AI 每年都在以 10 倍的速度增长。
Eos 应对的 GPT-3 基准测试并非 GPT-3 的完整训练,因为 MLPerf 希望多家公司都能够达到这一水平。相反,它涉及将系统训练到一个特定的检查点,证明给予足够时间,训练将达到所需的准确性。而这些训练确实需要时间。从 Eos 的 4 分钟结果推断,完成训练需要 8 天,而这或许是迄今为止建造的最强大的 AI 超级计算机。相比之下,一个更为合理大小的计算机——搭载 512 个 H100 的系统——将需要 4 个月的时间。
与此同时,英特尔也在逐步缩小差距。英特尔提交了使用 Gaudi 2 加速器芯片的系统结果,以及仅依赖其第四代至强 CPU 的系统结果。与上一轮训练基准相比,最大的变化是公司启用了 Gaudi 2 的 8 位浮点(FP8)功能。在过去 10 年中,使用低精度数字(如 FP8)是 GPU 性能大幅提升的主要原因。在 GPT-3 和其他 Transformer 神经网络的部分环节中使用 FP8,已经在英伟达的 H100 结果中显示出其价值。现在,Gaudi 2 也看到了性能提升。
英特尔 Habana Labs 的首席运营官 Eitan Medina 表示:「我们预计启用 FP8 将带来 90% 的性能提升。我们交付的成果超出了预期——384 加速器集群的训练时间缩短了 103%。」
这一新结果使得 Gaudi 2 系统的速度略低于英伟达系统的三分之一,并且是谷歌 TPUv5e 的三倍。在新的图像生成基准测试中,Gaudi 2 的速度也大约是 H100 的一半。这一轮,FP8 仅启用于 GPT-3 基准测试,但 Medina 表示他的团队目前正在为其他测试开启 FP8。
Medina 继续强调,与 H100 相比,Gaudi 2 在价格方面有显著优势,因此在价格和性能的综合指标上具有优势。Medina 预计,随着英特尔下一代加速器芯片 Gaudi 3 的推出,这一优势将会增长。Gaudi 3 将于 2024 年投入大规模生产,采用与英伟达 H100 相同的半导体制造工艺。
此外,英特尔还提交了仅基于 CPU 的系统结果。再次展示了多个基准测试中训练时间从几分钟到几小时不等的情况。除了 MLPerf 基准测试之外,英特尔还分享了一些数据,显示一个包含 AMX 矩阵引擎的 4 节点至强系统可以在不到五分钟内微调图像生成器 Stable Diffusion。微调是指对已经训练好的神经网络进行专门化,以适应特定任务。例如,英伟达的芯片设计 AI 是对现有大型语言模型 NeMo 的微调。
您可以在此处查看所有结果。
出版业自救,从下架电子书开始?
微信读书,这一蓝白相间的软件,逐渐成为都市读书人的首选“电子阅读”应用。根据DataAI的数据统计,近三月全球应用下载量排名榜单中,微信读书APP位列274,掌阅排名500,豆瓣阅读排在第1000。简洁的界面设计,丰富的电子书库,不贵的全场阅读卡,成为广大爱书人选择微信读书的理由。站长网2024-02-19 17:21:440001亚运会明星运动员入驻背后,百度何以成为达人经营新阵地?
百度正在成为运动员影响力打造的重要阵地。本届亚运会期间,体操选手丘索维金娜(网友称“丘妈”)成为了全场焦点,这位48岁的运动老将在赛场上的优异表现之外,背后“你未痊愈,我不敢老”为儿子治病的故事引起大量关注,无数用户涌向百度搜索了解她传奇人生。站长网2023-10-16 11:45:130000准到发麻!网易云音乐推出「动物mbti」测试
今日,网易云音乐宣布推出「测一测你的动物mbti」测试。有需要的用户,在网易云音乐APP搜索[动物mbti]测试即可。用户只需要通过第一反应回答6道[恋爱场景}模拟题目,即可查看自己的[动物mbti]。在最后的报告中,网易云会给出用户最合拍的人以及相关诊断分析。据悉,上述报告基于Myers-Briggs的MBTI理论生成。站长网2023-11-24 14:25:59000106去夕阳团、老年大学、老年食堂薅羊毛,年轻人“蹭老式”消费真赚到了?
本着“我可以买贵的,但不能买贵了”的原则,这届年轻人正在所有消费领域扫货,这一次他们把目标瞄准了薅老年福利的羊毛。年轻人报名参加老年夕阳红旅行团,8天新疆游的价格只要4000多元,而日常面向年轻人的旅行团动辄上万元;年轻人打卡以老年顾客为主的社区食堂,两荤一素不过20元,还不用吃预制菜;年轻人涌入老年大学上兴趣班,一学期课程可能比市面上培训机构一节课还要便宜。站长网2023-11-05 10:34:500000“你的DNA现在可以从空气中提取”
参考消息网5月22日报道据美国《纽约时报》网站5月15日报道,美国佛罗里达大学野生动物遗传学家戴维·达菲只是想找到一种更好的方法来追踪海龟的疾病。然而,他发现到处都能找到人类脱氧核糖核酸(DNA)。站长网2023-05-24 09:46:280000