英伟达宣布首批采用面向生成式 AI 的 Spectrum-X 以太网技术的服务器产品线
英伟达日前宣布,戴尔科技、惠普企业和联想将成为首批将 NVIDIA Spectrum-X™以太网络技术集成到其服务器产品线中的公司,以帮助企业客户加快生成式人工智能工作负载的速度。
Spectrum-X 专为生成式人工智能而设计,为企业提供一种新型的以太网络,相对于传统的以太网络产品,它可以实现 1.6 倍更高的人工智能通信性能。
这三家顶级系统制造商推出的新系统将 Spectrum-X 与 NVIDIA Tensor Core GPU、NVIDIA AI Enterprise 软件和 NVIDIA AI Workbench 软件相结合,为企业提供了转变业务的生成式人工智能基础。
加速人工智能的网络功能为了最大限度地提高人工智能工作负载的效率,Spectrum-X 结合了 Spectrum-4 以太交换机的极致性能、NVIDIA BlueField®-3 SuperNIC(一种新型的网络加速器,用于超大规模的人工智能工作负载)以及加速软件。Spectrum-X 与全球最先进的基础设施计算平台 BlueField-3 DPU 相辅相成。
Spectrum-4 是用于人工智能的全球第一款每秒传输速率为 51Tb 的以太交换机,可在大规模负载下以高效数据吞吐量功能运行,并减少多租户人工智能云工作负载的网络拥塞。其智能的精细化路由技术可以始终最大程度地利用网络基础设施。
BlueField-3 SuperNIC 专为网络密集型的大规模并行计算而设计,为 GPU 服务器之间的东西向集群内的人工智能训练和推理流量提供高达 400Gb/s 的 RDMA over Converged Ethernet(RoCE)网络连接。它们还可以在多租户数据中心环境中提供安全、独立的性能,确保租户作业之间的确定性和隔离性能。BlueField-3 SuperNIC 采用高效、半高、半长的 PCIe 尺寸,非常适合企业级服务器。
驱动 Spectrum-X 的加速软件包括 NVIDIA 软件开发工具包,如 Cumulus Linux、Pure SONiC 和 NetQ,它们共同推动了该平台的突破性性能,以及 NVIDIA DOCA™软件框架,它是 BlueField 的核心。
NVIDIA AI Enterprise 提供了框架、预训练模型和开发工具,用于安全、稳定和受支持的生产人工智能。NVIDIA AI Workbench 允许开发人员快速在个人电脑或工作站上创建、测试和自定义预训练的生成式人工智能模型,然后将其扩展到几乎任何数据中心或云环境。
Spectrum-X 还支持 NVIDIA Israel-1 超级计算机,它是下一代人工智能系统的参考架构。Israel-1 是与 Dell Technologies 合作开发的,使用 Dell PowerEdge XE9680 服务器,搭载 NVIDIA HGX™ H100 八个 GPU 平台和 BlueField-3 DPU 以及 SuperNICs 与 Spectrum-4 交换机。
预计戴尔、HPE 和 Lenovo 的新系统将于明年第一季度推出,其中包括完整的 NVIDIA 人工智能堆栈。
调协大模型时代存算矛盾的HBM,如何入局其中寻找机会?
近日,HBM的热度不可谓不高,无论是相关半导体大厂“激进”扩产的计划,还是产品供不应求的消息,都将这个内存领域的“新”技术,推到了资本市场与相关投资者的眼前。在相关大厂的扩产方面,两大存储芯片巨头持续加码:三星、SK海力士拟将HBM产量提高至2.5倍的消息曝出,使得HBM概念股倍受市场关注。站长网2023-12-20 12:06:2700018天狂收6100颗星,可商用!东京工业、麻省理工等开源Stream Diffusion
加州大学伯克利分校、东洋大学、东京工业大学、麻省理工学院和筑波大学等研究人员,联合开源了一款创新性实时交互图像生成框架——StreamDiffusion。StreamDiffusion的技术创新点在于,将传统的顺序去噪变成流批处理去噪,消除了漫长的等待、交互生成方式,实现了流畅且吞吐量超高的图像生成方法。同时引入了“残差无分类器指导”方法,进一步提升了流批处理的效率和图像质量。0000C口AirPods或年内推出 苹果无线耳机也要换C口了
据彭博社的马克・古尔曼(MarkGurman)透露的最新消息,苹果计划在今年稍后阶段推出多款全新的AirPods型号。据古尔曼预测,即将推出的第四代AirPods入门级版本将迎来一系列更新,包括更为贴合耳部的设计、音质提升,以及采用USB-C端口的新型充电盒。同时,他还期待高端版的第四代AirPods将配备主动降噪功能,并且充电盒中的扬声器能够通过播放声音来进行“查找我的”位置追踪。站长网2024-02-20 09:45:570000谷歌下一代大模型Gemini,算力已达GPT-4的5倍!
要点:谷歌的下一代大模型Gemini的训练算力已达GPT-4的5倍。谷歌拥有大量TPU芯片,其中的TPUv5数量已超过OpenAI等公司总GPU数。Gemini正在TPU上快速迭代,表现优于GPT-4,有望成为新一代顶级大模型。站长网2023-08-29 16:31:080000谷歌:微软必应搜索质量差 苹果因此多次拒绝与其合作
快科技2月25日消息,据国外媒体报道,近日美国司法部陆续公开了针对谷歌垄断网络搜索市场的诉讼案文件,其中的更多细节也得以揭晓。在文件中谷歌辩称,微软和苹果之间存在着某些关系,包括收购必应的谈判,这些都证明谷歌在搜索领域确实存在竞争”。0000