StreamingLLM:让AI模型无限期平稳运行的一种方法
要点:
1. Meta、麻省理工学院 (MIT) 和卡内基梅隆大学 (CMU) 的研究人员介绍了一项名为StreamingLLM的技术,旨在解决大型语言模型(LLMs)在长时间对话中性能下降的问题。
2. StreamingLLM利用“attention sinks”(关注点汇)的概念,通过在对话的不同阶段重新引入初始标记,使LLMs能够在无限长度的文本上保持高性能。
3. 研究人员还提出了使用单个特殊标记作为“attention sink”来稳定LLMs的关注机制,从而在长时间对话中保持高性能。
Meta、麻省理工学院 (MIT) 和卡内基梅隆大学 (CMU) 的研究人员最近发表的一篇新论文介绍了一项名为StreamingLLM的创新技术,旨在解决大型语言模型(LLMs)在长时间对话中性能下降的问题。
LLMs如OpenAI的ChatGPT和Meta的Llama2在当今的人工智能领域备受关注,但它们都面临一个共同的挑战,即在与用户的对话中始终提供高质量的响应,无论对话持续多长时间或交换的对话数量如何。这是因为LLMs在训练时是基于特定长度的数据块或序列进行预训练的,一旦用户输入的标记超过了这个长度,LLM的性能就会下降,这对企业希望在开放式对话中使用LLMs来帮助客户或员工是不可接受的。
图源备注:图片由AI生成,图片授权服务商Midjourney
StreamingLLM的解决方案是利用“attention sinks”概念,这些是在对话的不同阶段重新引入初始标记,以使LLMs能够在无限长度的文本上保持高性能。
研究人员发现,LLMs在对话或训练的早期会更加关注初始标记,因为它们对所有后续标记可见,而后续标记只对有限的后续标记可见。因此,通过在对话后期重新引入一些初始标记,用户可以有效地恢复LLM的性能。这就好比通过在对话后期使用与开始对话时相同的关键词,突然使LLMs在对话后期能够提供高质量的响应。
研究人员还提出了使用单个特殊标记作为“attention sink”的方法,通过在对话的不同阶段手动或自动重新引入此标记,可以持续保持LLMs的性能。这项技术使LLMs能够在无需频繁刷新缓存的情况下,不间断地为用户提供帮助。然而,研究人员也强调了这项技术的局限性,它并不扩展LLMs的上下文窗口,也不能确保LLM会记住对话的每个时刻的内容。
综合而言,StreamingLLM技术为LLMs在长时间对话中保持高性能提供了创新的解决方案,有望在许多领域,特别是需要持续不断地与用户交互的应用中得到广泛应用。
网易申请“网易玉言”大模型商标
天眼查App显示,7月18日,网之易信息技术(北京)有限公司申请注册“网易玉言”商标,国际分类为网站服务,当前商标进度为申请中。据悉,“玉言”是网易伏羲实验室推出的中文预训练大模型,“玉言”大模型参数达到110亿,结构由深层Encoder和浅层Decoder组成。站长网2023-08-08 10:37:290000大摩最新报告调高今年 AI 服务器出货量年增率达 70%
摩根士丹利证券(大摩)发布最新报告指出,由于来自美国超大云端服务供应商的订单增加,特别是微软,再加上沙特阿拉伯新增的人工智能(AI)需求,因此调高今年AI服务器出货量年增率上看70%。站长网2023-07-13 07:40:500000预计到2027年,生成式人工智能智能手机市场份额将达到40%
划重点:📌生成式人工智能智能手机预计从2024年开始引领市场趋势,智能手机制造商计划将生成式人工智能功能融入设备中。📌三星电子预计将在这个新兴市场中占据领先地位,其GalaxyAI将成为关键产品。📌高通有望在芯片市场上占据主导地位,预计将拥有近80%的市场份额。站长网2023-12-26 18:19:130000高考后第一批染发大军涌入小红书
DIY染发,年轻人“新宠”“染发”成为众多高考后考生最想做的事情,热搜视频上一个刚走出考场的女生表示:高考结束后,最想做的事情就是想染头发,她还声称这个想法是全国统一的。染发成为“准大学生们”走下考场的第一件要做的事情,一方面是对以往高中生活的反叛,另一方面对美的追求也让他们决心从“头”开始改变。站长网2023-07-18 06:37:200000微信小游戏「游戏圈礼包」投放能力上线 提升广告买量效率与效果
微信广告团队宣布小游戏「游戏圈礼包」投放能力上线,这一新功能旨在优化用户体验,提升广告买量效率与效果。小游戏开发者可以在广告场景下投放游戏圈礼包,简化礼包领取链路,提高买量效果。用户可以通过广告浮窗直接进入游戏圈,快速领取礼包,减少了操作路径,提升了体验。这也有效降低了因未成功领取而产生客诉的概率。0000