不用4个H100!340亿参数Code Llama在Mac可跑,每秒20个token,代码生成最拿手|Karpathy转赞
【新智元导读】现在,34B Code Llama模型已经能够在M2Ultra上的Mac运行了,而且推理速度超过每秒20个token,背后杀器竟是「投机采样」。
开源社区的一位开发者Georgi Gerganov发现,自己可以在M2Ultra上运行全F16精度的34B Code Llama模型,而且推理速度超过了20token/s。
毕竟,M2Ultra的带宽有800GB/s。其他人通常需要4个高端GPU才能做到!
而这背后真正的答案是:投机采样(Speculative Sampling)。
Georgi的这一发现,瞬间引爆AI圈大佬的讨论。
Karpathy转发评论道,「LLM的投机执行是一种出色的推理时间优化」。
「投机采样」加速推理
在这个例子中,Georgi借助Q47B quantum草稿模型(也就是Code Llama7B)进行了投机解码,然后在M2Ultra上使用Code Llama34B进行生成。
简单讲,就是用一个「小模型」做草稿,然后用「大模型」来检查修正,以此加速整个过程。
GitHub地址:https://twitter.com/ggerganov/status/1697262700165013689
根据Georgi介绍,这些模型的速度分别为:
- F1634B:~10token/s
- Q47B:~80token/s
如下是没有使用投机采样,标准F16采样示例:
然而,加入了投机采样策略后,速度可达~20token/s。
Georgi表示,当然,速度会因生成的内容而异。但这种方法在代码生成方面似乎效果很好,因为大多数词库都能被草稿模型正确猜出。
如果使用「语法采样」的用例也可能从中受益匪浅。
投机采样能够实现快速推理的背后具体如何实现?
Karpathy根据此前谷歌大脑、UC伯克利、DeepMind的三项研究,做出了解释。
论文地址:https://arxiv.org/pdf/2211.17192.pdf
论文地址:https://arxiv.org/pdf/1811.03115.pdf
论文地址:https://arxiv.org/pdf/2302.01318.pdf
这取决于以下不直观的观察结果:
在单个输入token上转发LLM所需的时间,与在K个输入token上批量转发LLM所需的时间相同(K比你想象的要大)。
这个不直观的事实是因为采样受到内存的严重限制,大部分「工作」不计算,而是将Transformer的权重从VRAM读取到芯片上缓存中进行处理。
因此,如果要完成读取所有权重的工作,还不如将它们应用到整批输入向量中。、
我们之所以不能天真地利用这一事实,来一次采样K个token,是因为每N个token都取决于,我们在第N-1步时采样的token。这是一种串行依赖关系,因此基线实现只是从左到右逐个进行。
现在,巧妙的想法是使用一个小而廉价的草稿模型,首先生成一个由K个token组成的候选序列——「草稿」。然后,我们将所有这些信息一起批量送入大模型。
根据上述方法,这与只输入一个token的速度几乎一样快。
然后,我们从左到右检查模型,以及样本token预测的logits。任何与草稿一致的样本都允许我们立即跳转到下一个token。
如果有分歧,我们就会扔掉草稿模型,承担做一些一次性工作的成本(对草稿模型进行采样,并对后面的token进行前向传递)。
这在实践中行之有效的原因是,大多数情况下,draft token都会被接受,因为是简单的token,所以即使是更小的草稿模型也能接受它们。
当这些简单的token被接受时,我们就会跳过这些部分。大模型不同意的困难token会「回落」到原始速度,但实际上因为有额外的工作会慢一些。
所以,总而言之:这一怪招之所以管用,是因为LLM在推理时是受内存限制。在「批大小为1」的情况下,对感兴趣的单个序列进行采样,而大部分「本地 LLM」用例都属于这种情况。而且,大多数token都很「简单」。
HuggingFace的联合创始人表示,340亿参数的模型在一年半以前的数据中心之外,看起来非常庞大和难以管理。现在是笔记本就可以搞定了。
现在的LLM并不是单点突破,而是需要多个重要组件有效协同工作的系统。投机解码就是一个很好的例子,可以帮助我们从系统的角度进行思考。
参考资料:
https://twitter.com/ggerganov/status/1697262700165013689
OpenAI前董事:开除奥尔特曼是“缺乏信任”,与AI安全无关
站长之家(ChinaZ.com)12月8日消息:据国外媒体报道,在OpenAI“内乱100小时”中,OpenAI前董事HelenToner公开回应了外界的诸多疑问。她表示,董事会开除山姆·奥尔特曼的原因是“缺乏信任”,与AI安全无关。0000Xbox被指使用AI生成的艺术作品推广游戏
**划重点:**1.🤖一些玩家指责Xbox在社交媒体上使用由AI程序生成的艺术品来推广独立游戏。2.📅在12月27日,Xbox账号ID@Xbox发推询问粉丝对2023年最喜欢的独立游戏的看法,引发了一场争议。3.🖌️尽管一些开发者对AI艺术持积极态度,但许多玩家批评使用这种技术,认为其在游戏和广告中的应用引发了社区不满。站长网2023-12-29 13:06:160000曝iPhone 16 Pro Max 屏幕将增至 6.9 英寸 沿用钛合金金属
快科技10月4日消息,自iPhone12ProMax发布后,iPhone超大杯手机的屏幕便一直维持在6.69英寸。据最新消息,明年的iPhone16系列手机的屏幕将迎来改变,其中中不仅仅只有iPhone16Pro的屏幕尺寸会有所增加,iPhone16ProMax也将搭载更大尺寸的屏幕。0000QQ邮箱开始提供付费会员服务 25元/月可享2048G容量
QQ邮箱宣布推出会员服务,每月只需25元,即可享受2048GB的超大邮箱容量、10GB的超大附件、10GB在线解压、文件有效期延长以及VIP邮箱地址等特权。如果选择一次性支付12个月,只需300元,相对更加优惠。站长网2023-10-24 17:28:170000鸿蒙智行官网正式上线:内含华为问界、智界汽车
快科技11月19日消息,我们从鸿蒙智行官方获悉,鸿蒙智行已正式上线。鸿蒙智行官网表示:鸿蒙智行(HIMA,HarmonylntelligentMobilityAlliance)是鸿蒙智能汽车技术生态联盟。据悉,此次鸿蒙智行官网共分为了两部分,分别是问界汽车和智界汽旨在与合作伙伴一起,推进汽车智能化技术发展,为用户打造卓越的智能汽车产品,提供极致的智慧出行体验,把数字世界带入每一辆车。0002