用检索增强生成让大模型更强大,这里有个手把手的Python实现
自从人们认识到可以使用自己专有的数据让大型语言模型(LLM)更加强大,人们就一直在讨论如何有效地将 LLM 的一般性知识与专有数据整合起来。对此人们也一直在争论:微调和检索增强生成(RAG)哪个更合适?
本文首先将关注 RAG 的概念和理论。然后将展示可以如何使用用于编排(orchestration)的 LangChain、OpenAI 语言模型和 Weaviate 向量数据库来实现一个简单的 RAG。
检索增强生成是什么?
检索增强生成(RAG)这一概念是指通过外部知识源来为 LLM 提供附加的信息。这让 LLM 可以生成更准确和更符合上下文的答案,同时减少幻觉。
问题
当前最佳的 LLM 都是使用大量数据训练出来的,因此其神经网络权重中存储了大量一般性知识(参数记忆)。但是,如果在通过 prompt 让 LLM 生成结果时需要其训练数据之外的知识(比如新信息、专有数据或特定领域的信息),就可能出现事实不准确的问题(幻觉),如下截图所示:
因此,将 LLM 的一般性知识与附加上下文整合起来是非常重要的,这有助于 LLM 生成更准确且更符合上下文的结果,同时幻觉也更少。
解决方案
传统上讲,通过微调模型,可以让神经网络适应特定领域的或专有的信息。尽管这种技术是有效的,但其需要密集的计算,成本高,还需要技术专家的支持,因此就难以敏捷地适应不断变化的信息。
2020年,Lewis et al. 的论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》提出了一种更为灵活的技术:检索增强生成(RAG)。在这篇论文中,研究者将生成模型与一个检索模块组合到了一起;这个检索模块可以用一个更容易更新的外部知识源提供附加信息。
用大白话来讲:RAG 之于 LLM 就像开卷考试之于人类。在开卷考试时,学生可以携带教材和笔记等参考资料,他们可以从中查找用于答题的相关信息。开卷考试背后的思想是:这堂考试考核的重点是学生的推理能力,而不是记忆特定信息的能力。
类似地,事实知识与 LLM 的推理能力是分开的,并且可以保存在可轻松访问和更新的外部知识源中:
参数化知识:在训练期间学习到的知识,以隐含的方式储存在神经网络权重之中。
非参数化知识:储存于外部知识源,比如向量数据库。
下图展示了最基本的 RAG 工作流程:
检索增强生成(RAG)的工作流程
检索:将用户查询用于检索外部知识源中的相关上下文。为此,要使用一个嵌入模型将该用户查询嵌入到同一个向量空间中,使其作为该向量数据库中的附加上下文。这样一来,就可以执行相似性搜索,并返回该向量数据库中与用户查询最接近的 k 个数据对象。
增强:然后将用户查询和检索到的附加上下文填充到一个 prompt 模板中。
生成:最后,将经过检索增强的 prompt 馈送给 LLM。
使用 LangChain 实现检索增强生成
下面将介绍如何通过 Python 实现 RAG 工作流程,这会用到 OpenAI LLM 以及 Weaviate 向量数据库和一个 OpenAI 嵌入模型。LangChain 的作用是编排。
必要前提
请确保你已安装所需的 Python 软件包:
langchain,编排
openai,嵌入模型和 LLM
weaviate-client,向量数据库
#!pipinstalllangchainopenaiweaviate-client
另外,在根目录下用一个 .env 文件定义相关环境变量。你需要一个 OpenAI 账户来获取 OpenAI API Key,然后在 API keys(https://platform.openai.com/account/api-keys )「创建新的密钥」。
OPENAI_API_KEY="<YOUR_OPENAI_API_KEY>"
然后,运行以下命令来加载相关环境变量。
importdotenvdotenv.load_dotenv()
准备工作
在准备阶段,你需要准备一个作为外部知识源的向量数据库,用于保存所有的附加信息。这个向量数据库的构建包含以下步骤:
收集并载入数据
将文档分块
对文本块进行嵌入操作并保存
第一步是收集并载入数据。举个例子,如果我们使用拜登总统2022年的国情咨文作为附加上下文。LangChain 的 GitHub 库提供了其原始文本文档。为了载入这些数据,我们可以使用 LangChain 内置的许多文档加载工具。一个文档(Document)是一个由文本和元数据构成的词典。为了加载文本,可以使用 LangChain 的 TextLoader。
原始文档地址:https://raw.githubusercontent.com/langchain-ai/langchain/master/docs/docs/modules/state_of_the_union.txt
importrequestsfromlangchain.document_loadersimportTextLoader
url = "https://raw.githubusercontent.com/langchain-ai/langchain/master/docs/docs/modules/state_of_the_union.txt"res = requests.get(url)with open("state_of_the_union.txt", "w") as f:f.write(res.text)
loader = TextLoader('./state_of_the_union.txt')documents = loader.load()
接下来,将文档分块。因为文档的原始状态很长,无法放入 LLM 的上下文窗口,所以就需要将其拆分成更小的文本块。LangChain 也有很多内置的拆分工具。对于这个简单示例,我们可以使用 CharacterTextSplitter,其 chunk_size 设为500,chunk_overlap 设为50,这样可以保持文本块之间的文本连续性。
fromlangchain.text_splitterimportCharacterTextSplittertext_splitter=CharacterTextSplitter(chunk_size=500,chunk_overlap=50)chunks=text_splitter.split_documents(documents)
最后,对文本块进行嵌入操作并保存。为了让语义搜索能够跨文本块执行,就需要为每个文本块生成向量嵌入,并将它们与它们的嵌入保存在一起。为了生成向量嵌入,可以使用 OpenAI 嵌入模型;至于储存,则可使用 Weaviate 向量数据库。通过调用 .from_documents (),可以自动将文本块填充到向量数据库中。
fromlangchain.embeddingsimportOpenAIEmbeddingsfromlangchain.vectorstoresimportWeaviateimportweaviatefromweaviate.embeddedimportEmbeddedOptions
client = weaviate.Client(embedded_options = EmbeddedOptions())
vectorstore = Weaviate.from_documents(client = client,documents = chunks,embedding = OpenAIEmbeddings(),by_text = False)
步骤1:检索
填充完向量数据库之后,我们可以将其定义成一个检索器组件,其可根据用户查询和嵌入块之间的语义相似性获取附加上下文。
retriever=vectorstore.as_retriever()
步骤2:增强
fromlangchain.promptsimportChatPromptTemplate
template = """You are an assistant for question-answering tasks. Use the following pieces of retrieved context to answer the question. If you don't know the answer, just say that you don't know. Use three sentences maximum and keep the answer concise.Question: {question} Context: {context} Answer:"""prompt = ChatPromptTemplate.from_template(template)
print(prompt)
接下来,为了使用附加上下文增强 prompt,需要准备一个 prompt 模板。如下所示,使用 prompt 模板可以轻松地定制 prompt。
步骤3:生成
最后,我们可以为这个 RAG 流程构建一个思维链,将检索器、prompt 模板和 LLM 链接起来。定义完成 RAG 链之后,便可以调用它了。
fromlangchain.chat_modelsimportChatOpenAIfromlangchain.schema.runnableimportRunnablePassthroughfromlangchain.schema.output_parserimportStrOutputParser
llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0)
rag_chain = ({"context": retriever,"question": RunnablePassthrough()} | prompt | llm| StrOutputParser() )
query = "What did the president say about Justice Breyer"rag_chain.invoke(query)"The president thanked Justice Breyer for his service and acknowledged his dedication to serving the country. The president also mentioned that he nominated Judge Ketanji Brown Jackson as a successor to continue Justice Breyer's legacy of excellence."
下图展示了这个具体示例的 RAG 流程:
总结
本文介绍了 RAG 的概念,其最早来自2020年的论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》。在介绍了 RAG 背后的理论(包括动机和解决方案)之后,本文又介绍了如何用 Python 实现它。本文展示了如何使用 OpenAI LLM 加上 Weaviate 向量数据库和 OpenAI 嵌入模型来实现一个 RAG 工作流程。其中 LangChain 的作用是编排。
原文链接:https://towardsdatascience.com/retrieval-augmented-generation-rag-from-theory-to-langchain-implementation-4e9bd5f6a4f2
咪蒙:曾经被你们口诛笔伐,现在被你们夸赚钱全靠才华
万万没想到,今年的春节档一边是多部院线电影退出春节档,一边是土味短剧一路高歌猛进,成了热门话题。据专注短剧的知名媒体新腕儿数据分析,今年的短剧春节档日消耗量创造了新纪录,至少有一天破亿,其余几天也有8000万元至9000万元的消耗,预估今年春节档短剧总消耗(票房)约为8亿元。其中,短剧《我在八零年代当后妈》的表现颇为亮眼。站长网2024-02-24 10:19:370000阿里云Serverless应用引擎SAE2.0上线 函数计算集成大模型框架
阿里云宣布Serverless应用引擎SAE2.0正式公测上线。全面升级后的SAE2.0具备极简体验、标准开放、极致弹性三大优势,应用冷启动全面提效,秒级完成创建发布应用,应用成本下降40%以上。站长网2023-08-08 09:05:230000腾讯今年最“炸场”的产品,用九年时间从红海里杀出来
不管是对移动端还是PC/主机端来说,今年都是个游戏大年。之后几个月,大作玩不过来可能会是不少人的处境。而在今年还未上线的端游大作中,很多人对拳头研发、腾讯发行的《无畏契约》的预期是最高的。而水晶哥(主播&前电竞选手)甚至在直播中直言,它可能会在未来十年“统治FPS”。截自B站直播切片站长网2023-06-27 17:06:460000「不赶鸭子上架」的讯飞星火,10月要赶超ChatGPT
随着百度文心一言、阿里通义千问等众多大模型接连问世,国内的“百模之战”也进入了白热化的阶段。但截至目前,已经发布了大模型的互联网厂商,全都只是放出了部分内测名额,并未开启全民大模型时代。那么,首个面向全体公众大规模开放的大模型,什么时候才会到来?5月6日,科大讯飞发布了讯飞星火认知大模型—首个面向全体公众大规模开放的大模型,由科大讯飞董事长刘庆峰、科大讯飞研究院院长刘聪共同发布。站长网2023-05-08 09:21:300000谷歌作为人工智能最大支持者之一 警告员工谨慎使用 AI 聊天机器人
谷歌是人工智能的主要支持者之一,但同时警告员工谨慎使用聊天机器人。据四名知情人士告诉路透社,谷歌母公司Alphabet已经向员工发出警告,不要将机密资料输入到AI聊天机器人中,该公司确认此举是基于长期保护信息的政策。站长网2023-06-16 16:45:180000