北京大学发布EAGLE 大模型推理效率无损提升3倍
要点:
EAGLE由滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布,将大模型推理效率提升3倍。
EAGLE采用外推大语言模型的第二顶层特征向量的方法,相较于普通自回归解码,其推理速度提升明显,比普通自回归解码快3倍,比Lookahead解码快2倍,比Medusa解码快1.6倍。
EAGLE使用投机采样方法,通过轻量级的自回归头和冻结的分类头相结合,利用大语言模型提取的上下文特征进行外推,从而更高效地生成文本。
近年来,大语言模型在各领域应用广泛,但其文本生成过程昂贵且缓慢。为解决这一问题,滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布了EAGLE。EAGLE的目标是提升大语言模型的推理速度,同时确保输出文本的分布一致性。通过外推大语言模型的第二顶层特征向量,EAGLE成功实现了大模型推理效率的无损提升,比普通自回归解码快3倍,比Lookahead解码快2倍,比Medusa解码快1.6倍。
代码地址:https://github.com/SafeAILab/EAGLE
为了加速自回归解码,EAGLE采用了投机采样方法,使用一个轻量级的自回归头和冻结的分类头相结合。与传统投机采样方法不同,EAGLE的输入包括了抽样结果的词嵌入,使得输入和输出之间更具一致性。这种创新的方法有效地处理了抽样过程中的随机性,提高了生成文本的准确性。
EAGLE的工作原理基于特征向量的可压缩性,通过训练一个轻量级插件,即自回归头,从原始模型的第二顶层预测下一个特征,然后使用原始LLM的冻结分类头预测下一个词。这种外推特征向量的方法使得EAGLE在生成文本的同时保持了与普通解码一致的分布。
总体而言,EAGLE的发布标志着大语言模型推理效率的重大突破,为大规模文本生成任务提供了更加高效的解决方案,将在各领域推动语言模型的应用和发展。
谷歌突失Hinton!深度学习之父警告AI风险,对毕生工作表示遗憾
BreakingNews!深度学习三巨头、神经网络之父GeoffreyHinton已离职谷歌,结束十载生涯。最新推文中透露了原因:为了自由地讨论人工智能的风险。消息一出,整个科技圈炸了,人们震惊于AI已经让Hinton感到害怕了。有网友直接懵住:到底发生了什么?还是我漏掉了什么?你不是曾说过GPT-4为人类的蝴蝶吗?站长网2023-05-02 10:18:460001《2023微信视频号年中发展报告》发布,视频号拐点何时到来?
今年上半年,视频号交出了一份还不错的答卷。2023年8月16日,腾讯发布的2023年第二季度财报指出:“视频号总用户使用时长同比几乎翻倍,2023年第二季度视频号广告收入超过人民币30亿元。”回望过去两年,微信视频号的变化可谓翻天覆地。站长网2023-08-30 16:28:030000自动驾驶汽车运输安全服务指南发布 自动驾驶失效时至少要存90秒信息
近日,交通运输部办公厅印发了《自动驾驶汽车运输安全服务指南(试行)》。这份指南旨在确保自动驾驶汽车在运输过程中的安全性。其中明确指出,自动驾驶运输经营者应确保车辆技术状况良好,严格按照车辆使用说明书来运行。此外,自动驾驶汽车还应具备车辆运行状态信息记录、存储和传输的功能,以便向自动驾驶运输经营者和运营地有关主管部门实时传输关键运行状态信息。0000MagicGPT即将到来?荣耀持续发力AI大模型行业
凤凰网科技讯9月4日,据天眼查App显示,近日,荣耀终端有限公司申请两枚“MagicGPT”商标,国际分类为网站服务、科学仪器,当前商标状态均为申请中。图源天眼查值得一提的是,不久前,该公司已申请科学仪器类“MagicAI”商标,当前商标状态也为申请中。图源天眼查站长网2023-09-04 21:39:490000关不掉的“熟人推荐”
在赛博世界里,年轻人也躲不开熟人。“本想副业赚点钱,却被熟人看见大肚腩。”至今,提到这件事,曾短暂做过一段时间减肥博主的90后女生米米就止不住尴尬。前段时间,米米经常在抖音上刷到减肥博主,其中有些博主只是更新自己每天吃了什么,就会得到很多关注,甚至接到了商务广告。这令同样有减肥计划的米米很是心动,她决定用抖音记录自己的减肥过程,试试能不能也搞出个副业。0000