Meta 发布新多token预测技术,使AI模型速度提升3倍
划重点:
⭐ 研究人员在 Meta、Ecole des Ponts ParisTech 和 Université Paris-Saclay 的一项研究中提出了通过同时预测多个token来改进 AI 大型语言模型(LLMs)的准确性和速度。
⭐ 多token预测使模型在推理时间上提升了3倍,并在生成任务上表现更佳,特别是对于长期模式的学习。
⭐ 这项研究为企业应用提供了更快的推理速度和更高的准确性,特别适用于生成任务,同时与 Transformer 块的其他优化技术兼容。
近期,Meta、Ecole des Ponts ParisTech 和 Université Paris-Saclay 的研究人员在一项研究中提出了一种改进 AI 大型语言模型(LLMs)准确性和速度的方法,即通过同时预测多个token。这与自回归语言模型的经典结构相悖,后者旨在一次预测一个token。
然而,多token预测并非适用于所有类型的模型和语言任务,但在某些领域中提供了重大优势,推理速度提升了3倍,并在生成任务上表现更佳。虽然仍有改进空间,但这项技术可能成为某些 LLM 应用的强大工具。
传统的训练 LLMs 的方法被称为 “下一个token预测”,这是一种自监督学习技术,模型被给定一个token序列,必须预测下一个token。然后将预测的token添加到输入中,重复这个过程,一次预测一个token。在大量文本语料上重复此过程,模型学习了允许它输出连贯文本段落的一般模式。
研究人员已经研究并记录了下一个token预测在获取语言、世界知识和推理能力方面的局限性。新研究的假设是 “训练语言模型同时预测多个未来token会导致更高的样本效率”。
多token预测指示 LLM 同时预测训练语料库中每个位置的多个来token。研究人员提出了一个简单的多token预测架构,不需要额外的训练时间或内存开销。
他们在多种任务上测试了新的多token预测方案,发现在小型模型上,多token预测导更差的结果,但随着模型规模的增加,它变得越来越有用。此外,多token预测还使模型在推理时间上提升了3倍,尤其在 “字节级标记化” 训练上,多字节预测大幅优于基线的单字节预测模型。多token预测仍有改进空间,研究人员正在考虑自动选择最佳预测token数量的技术,以及研究词汇量和多token预测之间的动态关系。
这项研究及其未来的改进对企业应用有用的地方在于,它有可能为生成任务提供更快的推理和更高的准性,几乎不需要额外的成本。同时,它保留了大部分 LLM 架构,可以与 Transformer 块的其他优化技术兼容。
Anthropic预计年收入将达8.5亿美元,挑战OpenAI地位
**划重点:**1.📈AnthropicPBC计划于2024年底实现8.5亿美元年化收入,较三个月前的预测大幅增长。2.🤝Anthropic由Amazon和Google支持,旗下模型Claude2挑战ChatGPT,能处理高达10万令牌的复杂提示。3.💰公司正在进行额外的7.5亿美元融资轮,由MenloVentures主导,将使Anthropic的估值达到150亿美元。0000马斯克旗下AI公司 xAI 将完成 60 亿美元融资
近日,马斯克旗下的人工智能公司xAI传来了振奋人心的消息,该公司即将完成一笔高达60亿美元的融资交易,标志着人工智能领域又迎来了一次重磅的资本运作。这一轮融资不仅将显著提升xAI的资金实力,更将使其估值飙升至惊人的180亿美元,展现了公司巨大的发展潜力。随着新一轮融资的完成,xAI将拥有更多的资金用于AI算力资源的获取,以与openAI、Anthropic等竞争对手展开激烈的模型竞争。站长网2024-04-26 16:17:100000马云取代软银成为阿里巴巴最大股东
阿里巴巴近日发生了股权变动,马云和蔡崇信通过增持阿里股票,合计持股比例已超过软银,成为阿里巴巴的最大股东。据国内媒体报道,马云和蔡崇信在过去的一段时间里持续购买阿里巴巴的股票,但具体的增持数额尚未透露。这一增持行为使得两人的合计持股比例超过了软银,让马云成为了阿里巴巴的最大股东。站长网2024-01-24 16:44:120000腾讯:行业大模型已应用于金融、文旅、传媒等10余个行业
8月16日,腾讯控股披露二季报,显示本季腾讯实现营收1492.08亿元,同比增长11%,净利润(Non-IFRS)375.48亿元,同比增长33%。科技创新方面,腾讯今年上半年累计研发投入311.91亿,行业大模型解决方案在10余个行业落地。自2018年至今累计投入达到2368亿元。截至2022年末,腾讯研发人员占比达74%。站长网2023-08-17 08:41:540000OPPO Find X7将搭载AndesGPT大模型 小布助手将接入
在今日下午的OPPOFindX7系列产品技术沟通会上,OPPO宣布了其最新升级的安第斯大模型AndesGPT。这一模型将应用于OPPOFindX7系列手机,成为其强大的智慧助手小布助手的最新技术支撑。站长网2023-12-27 15:20:320000