最高20倍!压缩ChatGPT等模型文本提示,极大节省AI算力
在长文本场景中,ChatGPT等大语言模型经常面临更高算力成本、更长的延迟以及更差的性能。为了解决这三大难题,微软开源了LongLLMLingua。
据悉,LongLLMLingua的核心技术原理是将“文本提示”实现最高20倍的极限压缩,同时又可以准确评估提示中内容与问题的相关程度,消除无关内容保留关键信息,达到降本增效目的。
实验结果显示,经过LongLLMLingua压缩后的提示,比原始提示的性能提升了17.1%,同时输入GPT-3.5-Turbo的tokens减少了4倍。在LongBench和ZeroScrolls测试中显示,每1,000个样本节省28.5美元和27.4美元的成本。
当压缩约10k tokens的提示,压缩率在2-10倍范围内时,端到端延迟可以降低1.4-3.8倍,显著加速了推理速率。
论文地址:https://arxiv.org/abs/2310.06839
开源地址:https://github.com/microsoft/LLMLingua
从介绍论文来看,LongLLMLingua主要由问题感知的粗细粒度压缩、文档重排序、动态压缩比率和压缩后子序列恢复4大模块组成。
问题感知的粗粒度压缩模块
该模块的设计思路是,使用问题文本进行条件化,评估每个段落与问题的相关程度,保留相关度更高的段落。
具体来说,通过计算问题文本与各段落的条件困惑度,判断二者的逻辑关联程度,条件困惑度越低表示相关性越高。
在此基础上,设置阈值保留困惑度较低的段落,过滤掉与问题不相关的段落。这实现了根据问题快速移除大量冗余信息的粗粒度压缩。
文档重排序模块
研究表明,在提示中,靠近开始和结束位置的内容对语言模型的影响最大。所以该模块根据各段落的相关程度对其进行重新排序,使关键信息出现在对模型更敏感的位置,减少中间位置信息损失。
通过利用粗粒度压缩模块计算出的各段落与问题的关联度,对段落进行排序,使关联度最高的段落排在最前面。这进一步增强了模型对关键信息的感知。
在获取重排序后的相关段落后,需要进一步压缩每个段落内的词量。此时动态压缩比率模块对提示进行精细调控。
动态压缩比率模块
对更相关的段落使用更低的压缩比率,分配更多的保留词语预算,而对相关性较弱的段落则使用更高的压缩比率。
通过利用粗粒度压缩结果中的段落关联度,动态确定每个段落的压缩比率。关联度最高的段落压缩比率最低,依次类推。
实现自适应、细粒度的压缩控制,有效保留关键信息。压缩后还需要提高结果的可靠性,这就需要下面的压缩后子序列恢复模块。
压缩后子序列恢复模块
在压缩过程中,一些关键词可能被过度删除,影响信息的完整性,而该模块可以检测并恢复这些关键词。
工作原理是,利用源文本、压缩文本、生成文本之间的子序列关系,从生成结果中恢复完整的关键名词词组,修复压缩带来的信息缺失,提高结果的准确性。
整个过程有点像我们快速浏览文章、筛选信息、整合要点的工作流程等,使模型快速捕捉文本的关键信息,生成高质量的摘要。
LongLLMLingua实验数据
研究人员构建了一个基于Natural Questions的多文档问答数据集,其中每个示例包含一个问题及20个相关文档,并需要从这20个文档中查找到答案。
该数据集模拟了实际的搜索引擎和问答场景,可以评估模型在长文档中的问答性能。
此外,研究人员还采用了更为通用的长文本理解基准测试集,包括LongBench和ZeroSCROLLS,以评估方法在更广泛场景下的效果。
其中,LongBench覆盖单文档问答、多文档问答、文本摘要、少样本学习等任务,包含英文数据集。ZeroSCROLLS则包括文本摘要、问答理解、情感分析等典型语言理解任务。
在这些数据集上,研究人员比较了LongLLMLingua压缩后的提示与原始提示在大语言模型上的性能。同时,也与其他提示压缩方法进行了对比,如基于困惑度的LLMLingua和基于检索的方法,评估了LongLLMLingua的有效性。
实验结果显示,LongLLMLingua压缩后的提示在问答准确率、生成文本质量等指标上普遍优于原始提示。
例如,在NaturalQuestions上,压缩4倍的提示提升了17.1%的问答准确率。当压缩约10k tokens的提示,压缩率在2-10倍范围内时,端到端延迟可以降低1.4-3.8倍。这充分证明LongLLMLingua可以在压缩提示的同时提升关键信息提取。
AIGC让个性化营销更卷了
在AIGC正火热的当下,未来AIGC发展会带动营销走向何方或许无人知晓。但有一件能确定的事情是,未来的营销一定是个性化的天下。借着AIGC的东风,不同领域发生了一些变化:-在金融领域,AIGC可以用于金融市场的预测和分析,识别趋势和模式,并提供个性化的投资建议。-医疗保健领域,AIGC可以用于医学图像分析、疾病诊断,提供个性化的治疗方案。0000发售不足2个月 跳水一千多!索尼PS VR2只要3298元了
快科技4月11日消息,索尼PSVR2在今年2月22日全球发售,国行售价4499元。截至目前,索尼PSVR2上市不足2个月的时间,但目前已经价格大跳水了一千多元,拼多多百亿补贴频道目前仅需3298元。这个价格跳水的速度和幅度,即便是当年被称为跳水王的三星手机都无法比拟。站长网2023-04-12 13:53:180000斯坦福大学的研究人员推出Spellburst 可简化艺术创意转化为代码的过程
生成艺术家通常使用编程语言或AI文本到图像工具来将表达性语义转化为代码,以创建抽象的图案或超现实的景观。然而,编写艺术作品是一个耗时复杂的过程,而且通常需要通过多次迭代的试验和错误来改进作品,这可能会受到界面的限制而感到沮丧。斯坦福大学的学者通过采访数字艺术家,了解了这些创作过程中的困扰,然后开发了一种名为Spellburst的工具,旨在改善创意构思和编辑过程。站长网2023-09-18 11:58:5000004年来最大版本!腾讯手机QQ 9.0 iOS正式版发布:全新界面、启动更快
快科技12月17日消息,今日,腾讯手机QQiOS版迎来9.0大版本升级,距离上次大版本(8.0)更新已经过去4年时间。更新日志显示,手机QQ9.0带来了界面轻盈焕新、在线状态自由定义,同时支持群文件在线预览,支持多群管理等提效能力。实测后发现,相比上一个版本,手机QQ9.0应用启动更快,动画也更流畅(测试机型iPhone13Pro、版本iOS17.2)。0000老面孔“集体失踪”,抖音赛道新人崛起
3月抖音涨粉榜已出,我们先来看榜:一眼望去,本次榜单带给我们的直观感受就是:老面孔“全体失踪”,来自各个领域的新面孔几乎占据了涨粉榜的大半席位,“新人为王”的局势似乎愈发明朗。站长网2023-04-17 18:19:270000