英伟达与 Anyscale 合作:提高大型语言模型和生成式 AI 应用的开发效率
用于生成式 AI 工具的大型语言模型通常会极大地增加对更多处理器的需求,这些处理器通常价格昂贵且供应受限。即使是云资源也不能总是解决企业试图扩展规模并利用最新的生成式 AI 技术所面临的问题。
图片来自NVIDIA
「GPU 芯片的扩展迟早将无法跟上模型大小的增长。」Gartner Research 副总裁兼杰出分析师 Avivah Litan 在接受 Computerworld 采访时表示。因此,「继续制造越来越大的模型不是可行选项。」
市场上最大的 GPU 制造商英伟达显然看到了开源软件提高 AI 开发和效率方面价值。周一,Anyscale 宣布将英伟达 AI 引入 Ray 开源和 Anyscale 平台中。英伟达 AI 还将在 Anyscale Endpoints 中运行,该服务可帮助应用程序开发人员使用流行的开源模型(如 Code Llama、Falcon、Llama 2、SDXL 等)嵌入 LLMs 到其应用程序中。
最近宣布的 Nvidia TensorRT-LLM 将支持 Anyscale 以及 Nvidia AI Enterprise 软件平台。它可用于自动扩展推理以在多个 GPU 上并行运行模型,从而在运行 Nvidia H100 Tensore Core GPU 时提供 8 倍的性能提升,英伟达在博客中表示。
此外,英伟达 Triton Interence Server 软件支持在 GPU、CPU 和其他处理器上跨云、数据中心、边缘和嵌入式设备进行推理。当与 Ray 集成时,开发人员可以提高来自各种框架的 AI 模型(包括 TensorRT、TensorFlow、PyTorch、ONNX、OpenVINO 等)的效率。
Anyscale 声称其 Ray 是全球增长最快的可扩展计算统一框架。英伟达 NeMo 是一个面向云原生的框架,可以被 Ray 开发人员用于为客户提供 LLMs。
「我们与英伟达的合作将为 Anyscale 的产品组合带来更多性能和效率,以便开发人员随处创建具有前所未有速度和效率的 LLMs 和生成 AI 应用程序。」Anyscale 首席执行官兼联合创始人 Robert Nishihara 在一份声明中表示。
腾讯回应微信支付被多所高校停用:即刻修正
近期,由于微信支付将收取0.6%的手续费,全国多所高校发布了公告,宣布自7月1日起暂停使用微信支付。就在刚刚,腾讯微信团队发布道歉声明称,此次调整,仅针对电商、酒旅等小部分盈利性场景实施以低于市场平均水平的优惠费率政策,校园非盈利场景则继续保持零费率。微信还称,此次调整的本意是为了对费率实施更加精细化的优惠措施,但很显然过于简单粗暴引起误解,深表歉意,即刻修正。以下为微信声明全文:站长网2023-06-29 23:46:240001OpenAI副总裁称将永远提供免费ChatGPT版本
**划重点:**1.🌐OpenAI副总裁PeterDeng表示,ChatGPT的免费版本将始终存在,并随着时间推移将具备更多功能。2.🚀OpenAI计划通过向企业销售服务来资助免费ChatGPT版本,同时随着技术的发展,免费版本的功能也将不断提升。3.🤖Deng强调,AI将贯穿未来社会,使人们不再关心内容是由AI创建还是增强。站长网2024-03-12 10:07:060000五角大楼探讨大型语言模型的军用用途
划重点:⭐️五角大楼与科技专家会晤,讨论如何将人工智能融入军事规划。⭐️大型语言模型在军事情报分析等领域有潜在用途,但仍需面临可靠性和安全性挑战。⭐️五角大楼强调需要工业界的协助,以推动人工智能技术在军事领域的应用。站长网2024-02-21 10:54:36000021岁哈佛辍学生开发的首款生活伴侣式AI项链预售火爆
站长之家(ChinaZ.com)1月17日消息:21岁的哈佛大学辍学生AviSchiffmann近日带来了一项新型可穿戴AI产品,名为TabAI项链。用户可以将这款项链挂在脖子上,通过麦克风和电池,全天候记录周围的对话,持续30小时,并通过蓝牙传输音频到手机和云端。站长网2024-01-17 09:31:250000只需几十元,用AI“复活”亲人,是慰藉还是自欺欺人?
近日,知名音乐人包晓柏用AI“复活”女儿的事引发热议。据媒体报道,包小柏表示,他女儿去世后,他攻读博士,经过反复尝试、训练后,如愿复刻出了“数字女儿”,不仅可以即时回应对话,前阵子老婆生日时,“女儿”还为妈妈唱了一首生日歌。与此同时,在商汤2024年年会上,商汤科技创始人,刚去世不久的汤晓鸥以数字人的形式现身,还来了一场演讲。并且,汤晓鸥数字人的演讲风格,与汤晓鸥生前的演讲风格非常像。站长网2024-03-05 14:22:440000