亚马逊自研 AWS 芯片在生成式人工智能领域追赶微软和谷歌
在德克萨斯州奥斯汀一个没有标记的办公大楼里,两个小房间中有几个亚马逊员工正在设计两种微芯片,用于训练和加速生成式人工智能。这些定制芯片——Inferentia 和 Trainium,为 AWS 客户提供了一种训练其大型语言模型的替代方案,而这些模型在 GPU 采购上变得越来越困难和昂贵。
亚马逊网络服务(AWS)首席执行官 Adam Selipsky 在六月接受采访时表示:「全世界都想要更多用于生成式人工智能的芯片,无论是 GPU 还是我们自己设计的亚马逊芯片。我认为,我们在为客户提供所需容量方面比任何其他公司都更具优势。」
然而,其他公司已经更加迅速并投入更多资金来抓住生成式人工智能的商机。当 OpenAI 于 11 月发布 ChatGPT 时,微软因为托管这个病毒式聊天机器人并投资据报道达 130 亿美元而受到广泛关注。微软迅速将生成式人工智能模型加入自己的产品中,并在二月份将其纳入必应搜索引擎。
同月,谷歌推出了自己的大型语言模型 Bard,并投资了 OpenAI 的竞争对手 Anthropic 3 亿美元。
直到四月,亚马逊才宣布推出自己的大型语言模型家族 Titan,以及一个名为 Bedrock 的服务,帮助开发人员利用生成式人工智能增强软件。
「亚马逊不习惯追逐市场,亚马逊习惯创建市场。我认为长时间以来,它们首次发现自己处于被动地位,并努力追赶进度,」咨询公司 Gartner 的副总裁分析师 Chirag Dekate 表示。
Meta 最近也发布了自己的 LLM——Llama 2。这款开源的 ChatGPT 竞争对手现在可以在微软的 Azure 公共云上进行测试。
芯片作为「真正的差异化」
Dekate 说,从长远来看,亚马逊的定制芯片可能在生成式人工智能领域给它带来优势。
他说:「我认为真正的差异化是他们所拥有的技术能力。你猜怎么着?微软没有 Trainium 或 Inferentia。」
AWS 从 2013 年开始悄悄地生产定制芯片,首先推出了一款名为 Nitro 的专用硬件。如今,这是 AWS 体量最大的芯片。亚马逊告诉 CNBC,每台 AWS 服务器至少有一颗 Nitro 芯片,总共使用超过 2000 万颗。
2015 年,亚马逊收购了以色列芯片初创公司 Annapurna Labs。然后在 2018 年,亚马逊推出了基于 Arm 架构的服务器芯片 Graviton,这是与 AMD 和英特尔等巨头的 x86 CPU 相竞争的一款产品。
「目前 ARM 芯片可能占总服务器市场总销售额的个位数甚至 10%,而且其中一大部分会卖给亚马逊。所以从 CPU 方面来看,他们做得相当不错,」Bernstein Research 的高级分析师 Stacy Rasgon 说道。
2018 年,亚马逊推出了面向人工智能的芯片。这是谷歌宣布推出第一款 Tensor 处理器单元(TPU)的两年后。据报道,微软目前正在与 AMD 合作开发名为 Athena 的人工智能芯片,但尚未正式宣布。
CNBC 参观了亚马逊在德克萨斯州奥斯汀的芯片实验室,那里是 Trainium 和 Inferentia 的开发和测试地点。产品副总裁 Matt Wood 解释了这两款芯片的应用。
他说:「机器学习可以分为两个不同的阶段。你首先训练机器学习模型,然后对这些训练好的模型进行推理。」「相对于 AWS 上训练机器学习模型的任何其他方式,Trainium 的性价比提高了约 50%。」
Trainium 于 2021 年首次上市,此前在 2019 年发布的 Inferentia 已经进入第二代。Inferentia 使客户能够以非常低的成本、高吞吐量、低延迟运行机器学习推理。「当你输入提示到你的生成式人工智能模型中时,所有的预测都是在那里处理的,」Wood 说。
然而,就目前而言,英伟达的 GPU 在训练模型方面仍然占主导地位。今年 7 月,AWS 推出了由英伟达 H100s 驱动的新型人工智能加速硬件。
Rasgon 说:「英伟达芯片拥有一个庞大的软件生态系统,已经建立了超过 15 年的时间,其他公司都没有。对于目前的人工智能来说,最大的赢家是英伟达。」
然而,AWS 在云计算领域的主导地位是亚马逊的一个重要优势。
「亚马逊不需要赢得头条新闻。亚马逊已经拥有非常强大的云计算用户群体。他们只需要找出如何让现有客户利用生成式人工智能扩展价值创造活动,」Dekate 说。
在选择用于生成式人工智能的亚马逊、谷歌和微软之间,有数百万的 AWS 客户可能会被亚马逊吸引,因为他们对亚马逊已经很熟悉,正在运行其他应用程序并将数据存储在那里。
AWS 是全球最大的云计算提供商,在 2022 年拥有 40% 的市场份额,根据技术行业研究机构 Gartner 的数据。尽管近三个季度的运营收入同比下降,但 AWS 在第二季度的运营利润中仍占据了亚马逊整体 77 亿美元运营利润的 70%。AWS 的运营利润率历史上一直远远高于谷歌云。
AWS 还拥有日益增长的面向生成式人工智能的开发者工具组合。
让我们把时间倒回到 ChatGPT 之前。AWS 数据库、分析和机器学习副总裁 Swami Sivasubramanian 说:「这并不是说在那件事发生后,我们突然匆忙地想出了一个计划,因为你不可能在那么短的时间内设计出一个芯片,更不可能在 2 到 3 个月的时间内构建出 Bedrock 服务。」
Swami Sivasubramanian 说:「Bedrock 让 AWS 客户可以访问由 Anthropic、Stability AI、AI21 Labs 和亚马逊自己的 Titan 开发的大型语言模型。我们不相信一个模型就能统治世界,我们希望我们的客户能从多个供应商那里获得最先进的模型,因为他们要为正确的工作选择正确的工具。」
亚马逊最新的人工智能产品之一是 AWS HeAlthScribe,这是一个在七月推出的服务,利用生成式人工智能帮助医生起草患者就诊总结。亚马逊还有一个名为 SageMaker 的机器学习中心,提供算法、模型等。
另一个重要工具是编码辅助工具 CodeWhisperer,亚马逊表示该工具使开发人员的任务平均完成时间提高了 57%。去年,微软也报道了其编码辅助工具 GitHub Copilot 带来的提升生产力的情况。
六月,AWS 宣布成立了一个价值 1 亿美元的生成式人工智能创新「中心」。
「我们有很多客户表示,『我想进行生成式人工智能』,但他们并不清楚这对他们自己的业务意味着什么。因此,我们将派遣解决方案架构师、工程师、战略家和数据科学家与他们一对一合作。」AWS 首席执行官 Selipsky 说。
尽管迄今为止 AWS 主要专注于工具而不是构建与 ChatGPT 竞争的产品,但最近泄露的内部电子邮件显示,亚马逊首席执行官安迪·贾西 (Andy Jassy)直接监督着一个新的中央团队,正在构建更广泛的大规模语言模型。
在第二季度的盈利电话会议上,贾西表示,AWS 业务的「很大一部分」现在由人工智能推动,提供了 20 多个机器学习服务。一些客户案例包括飞利浦、3M、Old Mutual 和汇丰银行。
人工智能的爆炸性增长伴随着许多公司担心员工将专有信息放入用于公共大型语言模型的训练数据中的一系列安全问题。
「我无法告诉你有多少财富 500 强企业告诉我他们禁止使用 ChatGPT。因此,我们通过我们对生成式人工智能的方法和我们的 Bedrock 服务来保障客户的需求。通过 Bedrock 使用的任何模型都将位于您独立的虚拟私有云环境中,并进行加密,同时具备相同的 AWS 访问控制。」Selipsky 说。
目前,亚马逊只是在加速推进生成式人工智能,告诉 CNBC 称,「超过 100,000」个客户如今正在使用亚马逊的机器学习。尽管这只是 AWS 数百万客户中的一小部分,但分析师表示这种情况可能会发生改变。
「我们没有看到企业说,『哦,等等,微软在生成式人工智能领域领先,我们就切换基础设施策略,将一切迁移到微软上。』」Dekate 说。「如果您已经是亚马逊的客户,很有可能会广泛探索亚马逊的生态系统。」
小米整改电视开机广告 可永久关闭
近日,有网友分享了一个方法,可以永久关闭小米电视的开机广告。该网友声称,只需在小米商城App中找到人工客服,并告知他们想要关闭电视广告,客服会要求提供MAC地址。一旦提交成功,预计在2-3个工作日内,开机广告就会被永久关闭。站长网2023-10-11 19:00:020000姚班斯隆奖马腾宇正式宣布大模型创业
要点1.清华姚班校友、斯坦福助理教授马腾宇宣布创办Voyage,一个专注于嵌入模型的创业项目,其嵌入模型在MTEB数据集上表现超越OpenAI,成为SOTA。2.Voyage的嵌入模型强调高检索精度,使用自监督损失函数和多领域训练数据,具有出色的性能,尤其在工业领域数据集上表现明显。站长网2023-11-01 17:03:330000提及了31次!天猫2024年大计划重度倾斜私域
于昨日(4月2日)的TopTalk2024天猫超级品牌私享会上,天猫发布了新一年度的品牌经营策略。其中聚焦于让品牌商家获得未来可期的生意增长,平台将更重视通过营销和全域运营手段,为品牌获取、积淀更多用户资产。不过,见实数了数,天猫不同高管分别提及了31次私域、9次公域,11次全域。私域成为现场最高频出现的词汇之一。这显示出,私域运营、公私域打通等是今年天猫新计划中被重度倾斜的内容。0000联发科天玑8300处理器发布 峰值性能大幅提升
联发科天玑8300新品发布会于今日举行,该款新处理器正式与公众见面。天玑8300搭载了3.35GHz四核A715和2.2GHz四核A510CPU,并配备了Mali-G615MC6GPU。据联发科表示,天玑8300的CPU峰值性能相比其前作提升了20%,而功耗却降低了30%。至于GPU方面,天玑8300号称性能提升可达82%,同时功耗也降低了55%。0000小米电纸书7英寸版发布:首发售价1399元 7周超长待机
小米公司近日发布了新款电纸书——小米电纸书7英寸,这款电纸书以其高清屏幕和轻巧设计吸引了众多关注。该产品将于今天上午10:00正式开售,首发价为1399元。在外观设计上,小米电纸书7英寸采用了独特的侧握实体按键和人体工学的不均等背板设计,整机的重量仅为166克,使得用户长时间使用不易感到疲惫。该电纸书的尺寸适中,既便于携带,又能提供舒适的阅读体验。0000