苹果芯跑大模型不用降计算精度,投机采样杀疯了,GPT-4也在用
专攻代码的Code Llama一出,大家伙都盼着谁来后续量化瘦身一下,好在本地也能运行。
果然是llama.cpp作者Georgi Gerganov出手了,但他这回不按套路出牌:
不量化,就用FP16精度也让34B的Code LLama跑在苹果电脑上,推理速度超过每秒20个token。
原本需要4个高端GPU才能搞定的活现在用只有800GB/s带宽的M2Ultra就够了,代码写起来嗖嗖快。
老哥随后公布了秘诀,答案很简单,就是投机采样(speculative sampling/decoding)。
此举引来众多大佬围观。
OpenAI创始成员Andrej Karpathy评价这是一种非常出色的推理时优化,并给出了更多技术解读。
英伟达科学家范麟熙也认为,这是每个大模型从业者都应该熟悉的技巧。
GPT-4也在用的方法
其实不光想在本地跑大模型的人在用投机采样,谷歌OpenAI这样的超级巨头也在用。
根据之前泄露的资料,GPT-4就用了这个方法来降低推理成本,不然根本承受不起这么烧钱。
而最新爆料表示谷歌DeepMind联手开发的下一代大模型Gemini很可能也会用。
虽然OpenAI的具体方法都保密,但谷歌团队已经把论文发出来了,并且入选ICML2023Oral。
方法很简单,先训练一个与大模型近似、更便宜的小模型,让小模型先生成K个token,然后让大模型去做评判。
大模型接受的部分就可以直接用,大模型不接受的部分再由大模型修改。
在原始论文中使用T5-XXL模型演示,在生成结果不变的情况下获得了2-3倍的推理加速。
Andjrey Karpathy把这个方法比喻成“先让小模型打草稿”。
他解释这个方法有效的关键之处在于,给大模型一次输入一个token和一次输入一批token,预测下一个token所需时间是差不多的。
但每一个token都依赖前一个token,所以正常情况无法一次对多个token进行采样。
小模型虽然能力较差,但实际生成一个句子时有很多部分是非常简单的,小模型也能胜任,只有遇到困难的部分再让大模型上就好了。
原论文认为,这样做无需改变大模型的结构,也无需重新训练,就可以直接加速已有的现成模型。
对于不会降低精度这一点,在论文附录部分也给出了数学论证。
了解了原理,再来看Georgi Gerganov这次的具体设置。
他使用4bit量化的7B模型作为“草稿”模型,每秒约能生成80个token。
而FP16精度的34B模型单独使用每秒只能生成10个token。
使用投机采样方法后获得了2倍的加速,与原论文数据相符。
他额外表示,速度可能会根据生成的内容而有所不同,但在代码生成上非常有效,草稿模型能猜对大多数token。
最后,他还建议Meta以后在发布模型时直接把小的草稿模型附带上吧,受到大伙好评。
作者已创业
作者Georgi Gerganov,今年三月LlaMA刚出一代的时候就移植到了C 上,开源项目llama.cpp获星已接近4万。
最开始他搞这个只是当成一个业余兴趣,但因为反响热烈,6月份他直接宣布创业。
新公司ggml.ai,主打llama.cpp背后的C语言机器学习框架,致力于在边缘设备上运行AI。
创业时获得来自GitHub前CEONat Friedman、Y Combinator合伙人Daniel Gross的种子前投资。
LlaMA2发布后他也很活跃,最狠的一次直接把大模型塞进了浏览器里。
谷歌投机采样论文:
https://arxiv.org/abs/2211.17192
参考链接:
[1]https://x.com/ggerganov/status/1697262700165013689
[2]https://x.com/karpathy/status/1697318534555336961
小冰公司首批网红明星克隆人已提前上线
两周前,小冰公司宣布在中国及日本市场启动“克隆人计划”。小冰公司表示,目前,首批网红明星克隆人已提前上线,其中包括此前饱受争议的“半藏森林”。目前,后台报名克隆人的网红明星全网粉丝总数已超过5亿,但出于安全考虑,首批克隆人仍限制在300人。经过测试验证,预计年底前逐步放开到更大规模。小冰公司计划每周四解锁新的克隆人。站长网2023-06-02 00:11:240000SEO优化需要利用哪些HTML标签?
网站SEO是在html网页进行优化的,那么,SEO优化需要利用哪些HTML标签呢?一、h标签h标签对搜索引擎非常友好,它告诉了搜索引擎这个页面的主题是什么。在页面当中适当的添加h标签,将非常有助于页面的seo优化。但是,需要注意的是,h标签所代表的权重一般只到h3为止,也就是说,h3以下的h标签,将不会对seo优化产生任何影响。除此之外,每个页面只允许使用一次h1标签,不可以重复。站长网2020-05-31 08:00:140009多亲 AI 精灵学生手机正式发布:搭载前沿 AI 大模型 Qin3 Ultra(增强版)
据duoqin多亲微博消息,多亲AI精灵学生手机正式发布,搭载前沿AI大模型Qin3Ultra(增强版)全网首发价1399。据介绍,多亲AI精灵手机采用联发科G99处理器,拥有8GB256GB的存储配置,机身厚度为8.7mm,重量仅为118g。该手机支持侧面指纹解锁和红外遥控。站长网2023-07-17 23:38:120001猫晚再造猫晚
11月10日晚,天猫双11惊喜夜(简称“猫晚”)重磅回归,双11的快乐又回来了。这一次,天猫依然请来了半个娱乐圈的明星,前有大张伟演唱《万物盛开法则》,开篇即高潮;又有华晨宇带来《点燃银河镜头的篝火》,梦幻又神秘;最后易烊千玺用一首《羞答答的玫瑰静悄悄地开》又一次制造出晚会的心动名场面。70组艺人,直接将双11惊喜夜躁成了“春晚”。站长网2023-11-12 10:34:060000“越南李佳琦”,快被中国人造出来了
“像胡志明这样的大城市,到处都看得见快递小哥。越南是摩托车王国,他们骑着摩托车去送货、提货,很方便。”新媒体“中越plus”越南区负责人刘生对霞光社说道。站长网2023-06-11 22:41:500000