4分钟训完GPT

H100再次在MLPerf中刷新了记录!英伟达超算NVIDIAEos在GPT-3模型的基准测试中，只用了3.9分钟就完成了训练。这比6月份的刷新记录的成绩——10.9分钟，提升了近3倍。Eos使用了多达10，752个H100和NVIDIAQuantum-2InfiniBand网络互连。通过推算，Eos现在可以在短短8天内进行训练，比之前使用512个A100GPU的先进系统快73倍。