压缩ChatGPT等模型文本提示

在长文本场景中，ChatGPT等大语言模型经常面临更高算力成本、更长的延迟以及更差的性能。为了解决这三大难题，微软开源了LongLLMLingua。据悉，LongLLMLingua的核心技术原理是将“文本提示”实现最高20倍的极限压缩，同时又可以准确评估提示中内容与问题的相关程度，消除无关内容保留关键信息，达到降本增效目的。