微软新工具LLMLingua-2:可将 AI 提示压缩高达80%,节省时间和成本
划重点:
🔍 微软研究发布了 LLMLingua-2,一种用于任务不可知压缩提示的模型,可以将原始长度减少高达20%,从而降低成本和延迟。
📊 LLMLingua-2通过智能压缩长提示,去除不必要的词语或标记,同时保留关键信息,使得提示长度可减少至原长度的20%。
🚀 LLMLingua-2在多个数据集上进行了评估,显示出与强基线相比的显著性能改进,并在不同 LLM 之间展现了稳健的泛化能力。
微软研究发布了名为 LLMLingua-2的模型,用于任务不可知的提示压缩。该模型通过智能地去除长提示中的不必要词语或标记,同时保留关键信息,使得提示长度可减少至原长度的20%,从而降低成本和延迟。研究团队写道:“自然语言存在冗余,信息量不尽相同。”
LLMLingua-2比其前身 LLMLingua 和类似方法快3到6倍。LLMLingua-2使用了 MeetingBank 中的示例进行训练,该数据集包含会议记录及其摘要。要对文本进行压缩,首先将原始文本输入训练好的模型。模型对每个词语进行评分,根据周围语境为其分配保留或移除的点数。然后选择具有最高保留值的词语,以创建缩短的提示。
微软研究团队在多个数据集上对 LLMLingua-2进行了评估,包括 MeetingBank、LongBench、ZeroScrolls、GSM8K 和 BBH。尽管模型规模较小,但在各种语言任务(如问答、摘要和逻辑推理)中,它始终优于原始的 LLMLingua 和选择性上下文策略。同样,相同的压缩策略对不同 LLM(从 GPT-3.5到 Mistral-7B)和语言(从英语到中文)都有效。
LLMLingua-2只需两行代码就可以实现。该模型还已集成到广泛使用的 RAG 框架 LangChain 和 LlamaIndex 中。微软提供了演示、实际应用示例以及说明提示压缩的好处和成本节省的脚本。该公司认为这是一个有前途的方法,可以通过压缩提示实现更好的泛化能力和效率。
论文地址:https://arxiv.org/abs/2403.12968
项目入口:https://top.aibase.com/tool/llmlingua-2
小米举办澎湃OS体验沟通会 设计团队将首次公开亮相
今天小米公司正式宣布,将于12月7日晚7点举行小米澎湃OS体验沟通会,届时将针对新系统的体验方面进行详细发布和讲解。小米澎湃OS团队将全面分享如何基于先进架构进行系统重构,以实现更加优秀的用户体验。其中包括对系统界面进行精简优化,提高信息展示效率并统一界面布局,以及重构多任务体系和互联交互逻辑,以更符合直觉无感的设计理念。站长网2023-12-06 15:59:430000iPhone 16 Pro Max影像规格曝光 升级4800万IMX903定制主摄
站长之家(ChinaZ.com)1月24日消息:据知名数码博主爆料,iPhone16ProMax将在影像方面实现重大升级,其主摄像头将首次达到4800万像素。这款主摄将采用索尼IMX903定制传感器,拥有惊人的1/1.14超级大底,不仅提升了拍照质量,还具备双层晶体管技术,支持14BitADC和DCG。站长网2024-01-24 14:10:380000Google 推出新 AI SDK,简化在安卓应用中集成最高性能模型 Gemini Pro
Google近日发布了其新的GoogleAISDK,旨在简化在安卓应用中集成其迄今为止表现最佳的模型GeminiPro。使用此SDK,开发者无需构建和管理自己的后端基础设施。0000Sam Altman:OpenAI 正接近 LLM 规模的极限 规模越大并非模型越好
OpenAI联合创始人兼CEOSamAltman在日前麻省理工学院「想象力行动」活动上谈到了大语言模型(LLM)的发展趋势和安全问题。SamAltman认为,OpenAI正接近LLM规模的极限,规模越大并不一定意味着模型越好,而可能只是为了追求一个数字而已。LLM的规模不再是衡量模型质量的重要指标,未来将有更多的方式来提升模型的能力和效用。站长网2023-04-17 09:47:440000欧盟即将制定西方世界最全面的人工智能法规
##划重点:1.🤝欧盟即将达成一项人工智能法规,将成为西方世界最全面的人工智能监管措施。2.🌐协商代表已就生成式人工智能工具(如OpenAI的ChatGPT和Google的Bard)达成控制协议,成为AI法案的一部分。3.📜提案要求开发商维护有关AI模型训练、摘要版权材料和标记AI生成内容的信息,同时对“系统性风险”进行监测和报告。0000