登陆注册
12413

​Bing Chat因GPU需求巨大,微软将找Oracle租用

站长网2023-11-08 10:59:250

划重点:

🔸 微软计划将Bing搜索使用的机器学习模型的一部分转移到Oracle的GPU超级集群,以满足其AI服务的巨大需求。

🔸 合作涵盖了微软与Oracle在云基础设施领域的合作,以满足搜索结果速度和扩展客户访问的需求。

🔸 微软的Bing Chat引入了生成式AI聊天机器人,需要大规模的GPU集群进行训练和推断。

据《The Register》报道,微软计划将Bing搜索中使用的一部分机器学习模型转移到Oracle的GPU超级集群,以满足其AI服务的高需求。这项跨多年的协议旨在帮助微软应对其AI服务的爆炸式增长,尤其是Bing Chat的推出,该服务于今年2月率先将生成式AI聊天机器人引入其搜索引擎中。

图源备注:图片由AI生成,图片授权服务商Midjourney

微软的Divya Kumar表示,与Oracle的合作以及与Microsoft Azure AI基础设施的协同使用,将有助于扩展客户访问并提高搜索结果的速度。这项合作基本上可以理解为,微软需要更多的计算资源来应对其AI服务的增长,而Oracle恰好有成千上万的Nvidia A100和H100GPU可供租赁。

Bing Chat不仅需要大规模的GPU集群用于训练,还需要在推断阶段以规模运行。而在这方面,Oracle的GPU集群将发挥关键作用。这两家云服务提供商的最新合作利用了Oracle Interconnect for Microsoft Azure,允许在Azure中运行的服务与Oracle Cloud Infrastructure(OCI)中的资源互动。此前,这两家超级企业已经使用该服务,允许客户将在Azure中运行的工作负载连接到OCI数据库。

根据StatCounter的数据,截止到2023年10月,Bing在全球网络搜索市场份额中占3.1%,而Google占91.6%,但与上月的3%相比有所增长。在桌面设备上,Bing的市场份额达到9.1%,而在平板设备上为4.6%。尽管如此,是否Bing真的如数据所示非常受欢迎仍有争议。也有可能微软希望营造Bing需求旺盛的形象,或者确实需要额外的计算资源来满足其增长需求。

Oracle声称其云超级集群每个都可以扩展到32,768个Nvidia A100或16,384个H100GPU,使用超低延迟的Remote Direct Memory Access(RDMA)网络。此外,它还提供了支持高度并行应用程序的高性能集群文件存储。

尽管微软尚未透露需要多少Oracle的GPU节点来支持其AI服务和应用程序,但这次合作不是微软和Oracle首次相互帮助。早在去年9月,Oracle宣布将其数据库系统放置在Microsoft Azure数据中心,旨在降低OCI中运行的Oracle数据库与Azure工作负载之间的延迟。

0000
评论列表
共(0)条