OpenAI 的 GPT-4 变得「懒惰」和「愚蠢」:或被 MoE 彻底重塑导致性能下降
世界上最强大的人工智能模型似乎变得不那么强大了。这让业内人士开始谈论可能会对该系统进行重大重新设计。
最近几周,OpenAI 的 GPT-4 的用户们纷纷抱怨性能下降,有些人将这个模型与以前的推理能力和其他输出进行比较,称其变得「懒散」和「更笨」。
在 Twitter 上和 OpenAI 的在线开发者论坛上,用户们发表了对弱化逻辑、更多错误响应、追踪不到提供的信息、难以按照指令操作、忘记在基本软件代码中添加括号以及只记住最近的提示等问题的不满。
一位使用 GPT-4 来帮助编写网站功能的开发者写道:「现在的 GPT-4 令人失望。就像你开了一个月的法拉利,然后突然变成了一辆破旧的皮卡车。我不确定是否愿意为此付费。」
Roblox 的产品负责人 Peter Yang 在推特上表示,该模型生成速度更快,但质量更差。「只是一些简单的问题,比如使文本更清晰、更简洁,以及生成想法,」他补充道。「在我看来,写作质量下降了。」他问是否有其他人注意到了这一点。
另一位名为 Frazier MacLeod 的用户回答说:「我发现它变得更懒散了。」
Christi Kennedy 在 OpenAI 的开发者论坛上写道,GPT-4 开始一遍又一遍地循环输出代码和其他信息。
从缓慢且昂贵,到快速且不准确
与今年年初的情况相比,这是一个相当大的变化。当时 OpenAI 通过 ChatGPT 和 GPT-4 的推出赢得了全世界的赞誉,科技行业也在翘首以待 GPT-4 的发布。ChatGPT 最初运行在 GPT-3 和 GPT-3.5 上,它们是支撑其神奇回答的巨大基础 AI 模型。
更大的 GPT-4 于三月份推出,并迅速成为开发者和其他科技行业内部的首选模型。它被认为是目前最强大的广泛可用的 AI 模型,并且是多模态的,可以理解图像和文本输入。
在尝试这个新模型后的最初热潮之后,一些人对使用 GPT-4 的账单感到震惊。Lamini 创业公司的首席执行官 Sharon Zhou 表示,它的速度很慢,但非常准确。
忒修斯之船
然而,几周前情况发生了变化。GPT-4 的速度变快了,但性能明显下降,这引发了整个 AI 社区对重大变化正在发生的讨论,Zhou 和其他专家表示。
他们认为 OpenAI 正在创建几个较小的 GPT-4 模型,这些模型的行为类似于大模型,但运行成本更低。
据 Zhou 称,这种方法被称为专家混合(Mixture of Experts,MoE)。这些较小的专家模型分别针对不同的任务和领域进行训练。可能会有一个用于生物学、物理学、化学等的小型生物学家 GPT-4。当一个 GPT-4 用户提出问题时,新系统知道将查询发送给哪个专家模型。新系统可能会决定将查询发送给两个或更多的专家模型,以防万一,然后将结果混合在一起。
Zhou 表示:「这个想法已经存在一段时间了,这是自然而然的下一步。」
Zhou 将这种情况比作「忒修斯之船」思想实验,在这个实验中,船的部分逐渐被更换,引发了一个问题:在哪个时刻它成为了一个全新的船?
她说:「OpenAI 正在将 GPT-4 转变为一支由较小船只组成的小型舰队。」「从我的角度来看,这是一个新模型。有人可能会说它是一样的。」
本周,几位 AI 专家在推特上发布了他们声称是 GPT-4 架构细节的内容。初创公司创始人 Yam Peleg 在推特上表示,OpenAI 通过使用 16 个专家的混合模型来降低成本。Semianalysis 在本周写了关于 GPT-4 内部工作原理的文章。
开发者和黑客 George Hotz 在最近的一期播客中描述了 GPT-4 的「八路混合模型」。Meta 的 PyTorch 开源 AI 项目联合创始人 Soumith Chintala 对 Hotz 的评论表示了支持。
在看到本周在线泄露的消息后,Allen 人工智能研究所的创始首席执行官 Oren Etzioni 在一封电子邮件中写道:「我推测这些猜测大致是准确的,但我没有得到证实。」
他解释说,使用 MOE 方法有两个主要的技术原因:生成更好的响应,以及更便宜、更快的响应。
他补充说:「『正确的』混合将同时给你带来这两个好处,但通常在成本和质量之间存在权衡。」「在这种情况下,OpenAI 似乎在为降低成本而牺牲了一些质量。这些模型很难进行评估(什么样的响应更好?在什么情况下?),所以这只是凭经验而非科学的观察。
2022 年,OpenAI 的总裁 Greg Brockman 与其同事 Lilian Weng共同撰写的研究中提到了 MOE 方法。他们写道:「使用专家混合(Mixture-of-Experts,MoE)方法,仅使用网络的一小部分来计算任何一个输入的输出。一个例子是通过推理时的门控机制选择使用哪个权重集合。」「这样做可以在不增加计算成本的情况下增加更多参数。每个权重集合被称为『专家』,希望网络能够学习将专业计算和技能分配给每个专家。」
最近几周 GPT-4 性能下降的情况可能与这种训练有关,OpenAI 正在推出这一批较小的专家级 GPT-4 模型,Zhou 表示。
Zhou 解释说:「当用户对其进行测试时,我们会提出许多不同的问题。它的表现可能不太好,但它正在从我们这里收集数据,并且会不断改进和学习。」
快手短剧日均DAU达2.7亿 创作者数量突破10万
在最新的快手短剧生态大会上,快手副总裁兼快手文娱业务负责人陈弋弋透露快手星芒短剧在2023年的惊人成绩。这次的盛会将目光聚焦在短剧创作和观众规模的增长,以及快手短剧在娱乐市场的卓越表现。0000魅族21 Pro正式入网 支持广域超声波指纹
近日,珠海市魅族科技有限公司的两款新设备481Q和481S正式入网,它们被命名为5G数字移动电话机”。据知名数码博主@数码闲聊站透露,这两款设备实际上是即将推出的魅族21Pro。根据备案信息,魅族21Pro支持最高80W快充,这一功能将极大地方便用户在日常生活中使用手机。此外,该博主还曝光了新机的部分配置,其中最引人注目的是它采用了2K屏幕和广域超声波指纹的组合。站长网2024-01-23 10:35:370000SEC主席加里·根斯勒预测AI将成为未来金融危机的中心
美国证券交易委员会(S.E.C.)主席加里·根斯勒(GaryGensler)多年来一直在研究人工智能的潜在后果。像ChatGPT这样的生成式人工智能工具的广泛应用表明这项技术将改变商业和社会。根斯勒在接受DealBook的EphratLivni的采访中概述了他最关注的一些问题。站长网2023-08-08 15:28:360000九年不屈!贾跃亭:FF91首辆量产车即将下线
今日,FF创始人贾跃亭发文称:“九年不屈,终于即将迎来FF91首辆量产车下线。”贾跃亭表示,这让我们距离“智能电车时代下极智科技奢华超塔尖市场的开创者和传统超豪华汽车文明颠覆者”的梦想更进一步。洛杉矶时间4月14日下午6:00(北京时间4月15日早9:00),让我们一起在FFIntelligentAPP和其他FF官方平台见证这一重要发布时刻。站长网2023-04-13 09:39:0200002023,MCN机构内容生产有了哪些新趋势?
今年4月,由克劳锐出品的《2022中国内容机构(MCN)行业发展研究白皮书》重磅发布,白皮书在引发业内热议的同时也为中国MCN机构的发展给出了可能的方向。面对着当前上下游诉求升级、同行业竞争加剧、机构盈利难度攀升的现实局面,MCN机构需要直面自己的“迭代期”,并基于各自的基因与能力,在不同的赛道开始“自我竞速”。0000