OpenAI科学家最新演讲:GPT-4即将超越拐点,1000倍性能必定涌现!
【新智元导读】GPT-4参数规模扩大1000倍,如何实现?OpenAI科学家最新演讲,从第一性原理出发,探讨了2023年大模型发展现状。
「GPT-4即将超越拐点,并且性能实现显著跳跃」。
这是OpenAI科学家Hyung Won Chung在近来的演讲中,对大模型参数规模扩大能力飙升得出的论断。
在他看来,我们所有人需要改变观点。LLM实则蕴藏着巨大的潜力,只有参数量达到一定规模时,能力就会浮现。
Hyung Won Chung将这次演讲题目定为「2023年的大型语言模型」,旨对LLM领域的发展做一个总结。
在这个领域中,真正重要的是什么?虽然「模型扩展」无疑是突出的,但其深远的意义却更为微妙和细腻。
在近一个小时的演讲中,Hyung Won Chung从三个方面分享了自己过去4年从业以来对「扩展」的思考。
都有哪些亮点?
参数规模越大,LLM势必「涌现」
Hyung Won Chung强调的核心点是,「持续学习,更新认知,采取以“规模”为先的视角非常重要」。
因为只有在模型达到一定规模时,某些能力才会浮现。
多项研究表明,小模型无法解决一些任务,有时候还得需要依靠随机猜测,但当模型达到一定规模时,就一下子解决了,甚至有时表现非常出色。
因此,人们将这种现象称之为「涌现」。
即便当前一代LLM还无法展现出某些能力,我们也不应该轻言「它不行」。相反,我们应该思考「它还没行」。
一旦模型规模扩大,许多结论都会发生改变。
这促使许多研究人员能够以一个新的视角去看待这个问题,即推理思路的根本性转变,从「一些方法现在不起作用」,到「一些方法只是在当前不起作用」。
也就是,最新方法可能不适用于当前模型,但是3-5年后,可能变得有效。
有着新颖视角的AI新人,通常可以带做出有影响力研究。那是因为他们不受一种直觉和想法的束缚,即经验丰富的人可能已经尝试过但发现不成功的方法。
Hyung Won Chung表示,自己平时在实验过程中,会记录下失败的过程。每当有了新的模型,他就会再次运行实验,再来查验哪些是成功的,哪些是失败的,以此往复。
这样一来,就可以不断更新和纠正自我认知和理解,适应技术的日新月异。
目前,GPT-3和GPT-4之间的能力仍然存在显著差距,尝试去弥合与当前模型的差距可能是无效的。
那么,已经有了规模的发展性观点后,我们该如何扩大参数规模?
第一性原理看Transformer
迄今为止,所有大模型背后的架构都是基于Transformer搭建的。想必很多人已经对下图的样子熟记于心。
这里,Hyung Won Chung从第一性原理出发探讨Transformer的核心思想,并强调了Transformer内部架构细节并非关注重点。
他注意到,许多LLM的研究者不熟悉扩展的具体操作。因此,这部分内容主要是为那些想要理解大型模型训练含义的技术人员准备的。
从功能性角度来看,可以把Transformer看作带有矩阵乘法一种简洁的序列到序列的映射,并可以进行相应数组转换。
所以,扩大Transformer的规模就是,让很多很多机器高效地进行矩阵乘法。
通过将注意力机制拆分为单独的头,利用多台机器和芯片,并使用GSP MD方法进行无需通信的并行化。
然后借助Jax的前端工具PJ将阵列轴映射到硬件,可以实现大型语言模型的并行化。
预训练模型的规模将跨越数量级,缩放法则是用小规模模型开发的。
1万倍GPT-4,让神经网络学习目标函数
再进一步扩展模型规模时,设想是GPT-4的10000倍,应该考虑什么?
对Hyung Won Chung来说,扩展不只是用更多的机器做同样的事情,更关键的是找到限制进一步扩展的「归纳偏差」(inductive bias)。
总之,扩展并不能解决所有问题,我们还需要在这大规模工程的工作中做更多研究,也就是在后训练中的工作。
你不能直接与预训练模型对话,但它会在提示后继续生成,而不是回答问题。即使提示是恶意的,也会继续生成。
模型后训练的阶段的步骤包括,指令调优——奖励模型训练——策略模型训练,这也就是我们常说的RLHF。
尽管RLHF有着一些弊端,比如奖励模型容易受到「奖励黑客」的影响,还有开放的研究问题需要解决,但是我们还是要继续研究RLHF。
因为,最大似然法归纳偏差太大;学习目标函数(奖励模型)以释放缩放中的归纳偏差,是一种不同的范式,有很大的改进空间。
另外,RLHF是一种有原则的算法 ,需要继续研究,直到成功为止。
总之,在Hyung Won Chung认为,最大似然估计目标函数,是实现GPT-410000倍规模的瓶颈。
使用富有表达力的神经网络学习目标函数,将是下一个更加可扩展的范式。随着计算成本的指数级下降,可扩展的方法终将胜出。
「不管怎么说,从第一原理出发理解核心思想是唯一可扩展的方法」。
参考资料:
https://twitter.com/xiaohuggg/status/1711714757802369456?s=20
https://twitter.com/dotey/status/1711504620025942243
https://docs.google.com/presentation/d/1636wKStYdT_yRPbJNrf8MLKpQghuWGDmyHinHhAKeXY/edit#slide=id.g27b7c310230_0_496
“ 我在抖音做直播游戏,两个小时赚了十几万。”
就在两天前,有个消息传出来说,视频号的弹幕互动游戏可能要关停了。消息一出,就小范围地炸开了锅。。各大主播和公会里,立马就有人说不干了,甚至视频号官方还把官方群给解散了。看着大家反应这么激烈,小发突然想起,自己有个朋友就在做弹幕互动游戏。本想给他送上几句关心,结果他反而和我说,这玩意赚老牛鼻子钱了。。。甚至,他和我说在别的平台那边,都是官方下场带头玩的。站长网2023-11-03 14:02:270000Ludo.ai 为游戏开发者推出文生视频生成器工具:快速创建游戏概念视频
Ludo.ai已经在游戏开发工具中整合人工智能(AI)三年,现在正通过创造一个文本到视频生成器工具为游戏开发者利用生成型AI。Ludo.ai网站截图Ludo.ai首席执行官TomPigott表示,该公司已经发布了其视频生成器工具的测试版。这个工具使游戏开发者能够在短短几秒钟内创造游戏玩法视频,开启了快速、流畅地将游戏概念可视化的新时代。站长网2023-12-20 12:01:500001美国监管机构:现行法律没有“人工智能豁免”
日前,美国联邦贸易委员会FTC主席LinaKhan警告称,美国政府将毫不犹豫的制止涉及偏见或欺骗性人工智能工具的非法行为,包括人工智能工具中的机器偏见和欺骗性内容。Khan警告说,自动化工具不仅会导致偏见,还有很多先进的人工智能工具可产生类似于人的内容。她对诈骗者可能使用的人工智能工具表示担忧,比如会更广泛地部署虚假或令人信服的内容,更精准地针对特定群体。站长网2023-04-27 14:44:250000OpenAI 表示 ChatGPT Plus 和 Enterprise 用户现在可访问互联网:AI 程序数据不再受限于 2021 年 9 月截止日期
站长之家(ChinaZ.com)9月28日消息:微软支持的OpenAI周三表示,ChatGPT用户现在可以浏览网页,扩大了这个流行的聊天机器人可以访问的数据范围,超过了之前的2021年9月截止日期。这家人工智能初创企业表示,它的最新浏览功能将允许网站控制ChatGPT与其互动的方式。站长网2023-09-28 09:33:550000茶百道上市:一年8亿杯,赚钱不靠卖奶茶
又一家不靠卖“奶茶”的奶茶小巨头,要上市了。8月15日晚,港交所网站显示,茶百道(四川百茶百道实业股份有限公司)正式提交IPO招股书。这个主打15元价位的茶饮连锁品牌,通过加盟模式在全国开出了七千多家店,2022年的收入为42亿元,其中超过40亿元,是向加盟商销售原料、包材等带来的收入。2022年,茶百道的净利润9.65亿元。这一年,它卖了近8亿杯奶茶,相当于每卖一杯茶平均净赚1.21元。站长网2023-08-17 09:31:420000