32k上下文可商用!长颈鹿来袭,开源大模型长度再创新高
要点:
长颈鹿是基于LLaMA模型打造的,上下文长度达到32k,是目前开源大模型中最长的。
研发团队Abacus.AI通过测试不同的上下文外推方法,发现线性插值效果最好,并在此基础上提出了Power Scaling和Truncated Basis两种新思路。
尽管Abacus.AI宣称长颈鹿是首个32k开源模型,但Together.AI更早发布了类似规模的版本,两者可以说并列第一。
长颈鹿(Giraffe)是Abacus.AI团队基于LLaMA模型系列打造的新作,被称为“开源大模型史上第一个上下文长度达到32k的版本”。LLaMA发布于2022年,包含多个规模参数的迭代版本,但都仅有4k的上下文长度,在实际应用中表现仍有局限。为突破这一瓶颈,Abacus.AI团队进行了一系列测试与优化。
论文地址:https://arxiv.org/abs/2308.10882
项目地址:https://huggingface.co/abacusai/Giraffe-v2-13b-32k
他们发现,通过修改注意力机制中的位置编码系统是当前主流的上下文外推方法,包括线性缩放、随机编码等。在此基础上,团队提出了Power Scaling和Truncated Basis两种新思路。Power Scaling是对原有编码做指数变换,使模型更倾向于外推距离较远的上下文;Truncated Basis则是保留高频分量但将低频分量设置为0,也能在循环周期中覆盖更长距离。
为全面评估不同方法的效果,团队设计了三个新的测试集,除困惑度外还加入了问答和关键词检索等任务。结果显示,线性插值最为有效,新提出的Truncated Basis也展现出一定的优势。最终,团队选择线性插值法打造出长颈鹿系列模型,长度可选4k、16k和32k。
Abacus.AI宣称这是全球首个32k开源大模型,但实际上Together.AI已经在更早发布了类似的版本。两家企业使用的上下文扩展方法和模型规模也有细微区别。所以,可以说长颈鹿与Together.AI的模型并列为当前开源领域32k长度的“第一”。
抖音回应洽谈收购饿了么:无稽之谈 没有这个计划
近日,有传闻称抖音正在与阿里洽谈收购饿了么。对此,饿了么内部人士回应称,双方合作一直在稳步推进,但所谓“收购”完全是无稽之谈。抖音内部人士也回复称,彭博社没有这个报道,抖音也没有这个计划。早在2022年8月,饿了么和抖音就曾宣布达成合作,共同探索本地生活服务的新场景升级。站长网2023-12-19 16:30:180000斯坦福博士推加速推理新方法Flash-Decoding 长上下文LLM推理速度提8倍
要点:1.FlashAttention团队推出了一种新的方法,Flash-Decoding,用于加速大型Transformer架构的推理,最高可提速8倍,特别适用于长上下文LLM模型。2.Flash-Decoding的优点在于使用并行操作加载Key和Value缓存,然后重新缩放和合并结果,以显著提高推理速度。站长网2023-10-18 21:22:190001月入几万,打工人才有“买车自由”?
小汪入手的别克微蓝,与同价位的其他车相比,续航和性能上具有一定竞争力,也可以多开几年。“原本落地要十二万,但算上朋友给到的优惠,首付款也就不到两万”,她认为买的很值。0000AI视野:图文混合创作大模型浦语灵笔发布;微软GitHub Copilot每个用户倒赔20美元;AI天才杨植麟交卷大模型产品Kimi Chat;ChatGPT 移动应用9月收入创纪录
🤖📈💻💡大模型动态AI天才杨植麟交卷大模型产品KimiChat支持20万字长文本清华AI杨植麟创业公司MoonshotAI发布KimiChat,支持20万字长文本,解决大模型上下文窗口长度问题,旨在打造C端SuperApp。目前Claude支持最大长文本为100k(约8万字),而GPT-4则是32k(约2.5万字)。20万字,分别是它们的2.5倍和8倍。站长网2023-10-10 16:35:110002《幻兽帕鲁》爆火背后,多少国内游戏人在汗流浃背?
过去一周,《幻兽帕鲁》这款“超级缝合怪”就如同机械降神,突然成为了整个游戏圈的热门话题:大家先是探讨它是否抄袭了宝可梦,然后又是关于帕鲁的打工人地狱笑话,后来《幻兽帕鲁》背后的公司PocketPair社长还发了一封公开信,亲自讲述了游戏背后的奇迹……几乎每天都有关于这款游戏的新话题出现。站长网2024-01-29 09:14:400000