OpenAI新模型研发遇挫,稀疏性是大模型降本的钥匙吗?
大模型的训练与运行成本极其高昂,OpenAI 也尝试过降低成本,只可惜失败了。
去年年底,当 ChatGPT 引起全球轰动时,OpenAI 的工程师开始研究一种新的人工智能模型,代号为 Arrakis。Arrakis 旨在让 OpenAI 能够以更低的成本运行聊天机器人。
但据知情人士透露:2023年年中,OpenAI 已经取消了 Arrakis 的发布,因为该模型的运行效率没有公司预期的那么高。
图源备注:图片由AI生成,图片授权服务商Midjourney
这次失败意味着 OpenAI 失去了宝贵的时间,并需要将资源转移到开发不同的模型上。
对合作投资来说,Arrakis 的研发计划对于两家公司完成100亿美元投资和产品交易的谈判非常有价值。据一位知情的微软员工透露,Arrakis 的失败让微软的一些高管感到失望。
更重要的是,Arrakis 的失败预示着人工智能的未来发展可能会充满难以预测的陷阱。
Arrakis 是个什么样的模型?
知情人士称,OpenAI 希望 Arrakis 是一个与 GPT-4性能相当,且运行效率更高的模型。Arrakis 模型用到的关键方法是利用稀疏性。
稀疏性是谷歌等其他人工智能开发商也公开讨论并使用的机器学习概念。谷歌高管 Jeff Dean 曾表示:「稀疏计算将成为未来的一个重要趋势。」
OpenAI 很早就开始了关于稀疏性的研究,早在2017年他们就推出了稀疏计算内核。Arrakis 本来可以让 OpenAI 更广泛地推广其技术,因为该公司可以使用数量有限的专用服务器芯片来为其软件提供支持。
当前,增加稀疏性的一种常见方法是借助「混合专家系统(MoE)」技术。然而,加州大学伯克利分校计算机科学教授 Ion Stoica 曾表示:「一般来说,专家模型的数量越多,模型就越稀疏,效率也越高,但可能会导致模型生成的结果不太准确。」
大约在今年春天,OpenAI 的研究人员开始训练 Arrakis 模型,其中涉及使用先进的计算硬件来帮助模型处理大量数据。知情人士称,该公司预计训练 Arrakis 比训练 GPT-4要便宜得多。然而,研究团队很快就意识到该模型的表现不够好,无法获得预期的增益。研究团队花了大约一个月的时间试图解决问题后,OpenAI 的高层领导决定停止训练该模型。
值得欣慰的是,OpenAI 可以将其在 Arrakis 上的工作整合到其他模型中,例如即将推出的多模态大模型 Gobi。
两位知情人士表示,Arrakis 的表现之所以低于 OpenAI 的预期,是因为该公司试图提高模型的稀疏性,这意味着将只使用模型的一部分来生成响应,从而降低运行成本。该模型在早期测试中有效但后来表现不佳的原因尚不清楚。
值得一提的是,有知情人士称 OpenAI 曾为 Arrakis 考虑的公开名称是 GPT-4Turbo。
降低成本有多重要?
对于 OpenAI 来说,随着人们对技术成本的担忧日益增加以及开源替代方案的激增,使其模型更便宜、更高效是首要任务。
据知情人士称,微软使用 OpenAI 的 GPT 模型为 Office365应用程序和其他服务中的人工智能功能提供支持,并且微软原本预计 Arrakis 能够提高这些功能的性能并降低成本。
与此同时,微软开始研发自己的 LLM,并且其 LLM 的运行成本可能比 OpenAI 的模型更低。
尽管这场挫折并没有减缓 OpenAI 今年的业务发展,但随着 LLM 领域的竞争日益加剧,特别是谷歌、微软等科技巨头的加速研发,OpenAI 也有可能在这条赛道上式微。
银联云闪付App启动华为鸿蒙原生应用开发
近日,中国银联与华为共同举办了鸿蒙深化合作签约仪式。据悉,中国银联此前已基于HarmonyOSNEXT启动了云闪付APP的鸿蒙原生应用开发。而在此次深化合作中,银联宣布将服务能力“鸿蒙化”,全面启动云闪付SDK、银联SDK、乘车码SDK等鸿蒙原生适配。站长网2023-12-21 11:19:270000新加坡南洋理工大学出品!大规模视频分割数据集MeViS,自动识别视频动态主体
文章概要:1)MeVIS数据集包含2006段视频,强调目标物体的运动属性,不能仅从单帧识别。2)提出LMPM基准方法,利用语言理解和运动评估找到视频中语言描述的目标物体。3)研究为发展更高级的语言引导视频分割算法奠定基础。站长网2023-08-26 16:14:340000辣椒越皱,辣度越高?真相在这里!
其实和人会衰老、面部产生皱纹一样,植物因为各种各样的原因,也会在表面产生褶皱。辣椒表面的褶皱便吸引了科学家们探索其中的奥秘。图库版权图片,不授权转载01辣椒表面褶皱的形成原因辣椒因为干燥产生褶皱是日常生活中常见的现象,但是如果要细细分析为什么会产生这样复杂的褶皱,并不是一件简单的事情。站长网2023-05-24 21:25:330000滴滴宣布在北京推出地铁乘车码服务
滴滴出行与亿通行、微信支付合作,在北京推出了地铁乘车码服务。市民只需打开滴滴出行微信小程序,点击首页的“公交地铁”按钮,即可开通乘车码或扫码乘车,享受最低1分钱乘地铁的优惠。此次活动规则规定,从即日起至12月31日,在北京市政补贴优惠的基础上,滴滴乘车码新用户还可免费领取3张1分钱地铁乘车券,每单最高可抵2.99元;老用户则可享8折乘地铁,每单最高可抵0.6元。站长网2023-12-14 14:55:440000苹果发布 iPhone 15 Pro/Max、iPhone 15/Plus 和 Apple Watch Series 9 /Ultra 2 四款全新设备:常规性能提升 售价与上代持平
今天,苹果公司发布了最新的旗舰智能手机系列,即iPhone15Pro和iPhone15ProMax和iPhone15和iPhone15Plus,以及新款AppleWatch系列AppleWatchSeries9和AppleWatchUltra2。AppleWatchSeries9站长网2023-09-13 09:25:310000