基于 LangChain 打造简易 RAG三案例

charles666666

872人浏览 · 2025-08-09 20:48:21

charles666666 · 2025-08-09 20:48:21 发布

在信息爆炸的当下，精准高效地从海量数据中获取答案至关重要。而基于 LangChain 实现的RAG（Retrieval - Augmented Generation，检索增强生成），无疑是解决这一难题的有力工具。下面将深入解析其具体实现步骤、关键细节以及实际应用场景，助你轻松构建智能问答系统。

一、RAG 详解

RAG 是一种结合检索与生成模型的先进方法。其工作流程是先通过检索从海量数据中精准定位与问题相关的片段，再利用生成模型基于这些片段生成最终答案。这种模式既能确保答案的准确性，又充分发挥了生成模型的灵活性。相较于传统的基于检索的问答系统，它能生成更连贯、更具创造性的答案；而与纯生成模型相比，它能更精准地从大量数据中提取信息，避免生成与事实不符的内容。

二、环境搭建

安装 LangChain ：打开终端，输入 pip install langchain，等待安装完成即可。LangChain 是一个用于构建语言模型应用的框架，它提供了丰富的工具和接口，方便我们快速搭建 RAG 系统。
选择语言模型 ：LangChain 支持多种大语言模型，以 OpenAI 的 GPT - 3.5 - turbo 为例，我们需要先在 OpenAI 平台注册账号，创建项目并获取 API 密钥。在代码中，可以通过设置环境变量 OPENAI_API_KEY = "your_api_key" 来使用该模型。不同模型在性能、成本等方面各有特点，例如 GPT - 4 在处理复杂问题时表现更优，但成本较高；而 GPT - 3.5 - turbo 能够满足大多数常见任务需求，且成本相对较低。
安装其他依赖库 ：为了处理不同格式的文档，还需安装 PyPDF2（处理 PDF 文件）、python - docx（处理 Word 文件）等库。安装命令分别为 pip install PyPDF2 和 pip install python-docx。

三、文档处理

这是 RAG 系统的基础，将文档进行预处理，使其能被语言模型理解和利用。

文本提取 ：以 PDF 文件为例，使用 PyPDF2 进行文本提取。以下是一个简单的代码示例：

from PyPDF2 import PdfReader

def extract_text_from_pdf(file_path):
    reader = PdfReader(file_path)
    text = ""
    for page in reader.pages:
        text += page.extract_text()
    return text

类似地，对于 Word 文件，可以使用 python - docx 库：

from docx import Document

def extract_text_from_docx(file_path):
    doc = Document(file_path)
    text = ""
    for para in doc.paragraphs:
        text += para.text + "\n"
    return text

此外，对于纯文本文件、网页内容等，也可以直接读取文本内容进行后续处理。在处理过程中，可能还会遇到一些问题，例如文本中包含噪声字符、格式混乱等，需要进行清洗和整理，例如去掉多余的空格、换行符，统一编码格式等。

文本分割 ：文本分割的目的是将长文本分成适合语言模型处理的片段。一个简单的方式是按固定长度切割，但更推荐根据语义进行切割。例如，在段落、句子边界处切割。可以使用 spaCy 等 NLP 库来辅助实现。以下是一个基于 spaCy 的文本分割示例：

import spacy

nlp = spacy.load("en_core_web_sm")

def split_text_by_semantics(text, max_length):
    doc = nlp(text)
    sentences = list(doc.sents)
    chunks = []
    current_chunk = ""
    for sent in sentences:
        if len(current_chunk) + len(sent.text) < max_length:
            current_chunk += sent.text + " "
        else:
            chunks.append(current_chunk.strip())
            current_chunk = sent.text + " "
    if current_chunk:
        chunks.append(current_chunk.strip())
    return chunks

假设我们将一段长文本分割成最大长度为 500 个字符的片段，这样既能保证每个片段意义相对完整，又能满足语言模型的输入限制。在实际应用中，根据不同的文档内容和模型要求，可以灵活调整文本分割的策略。

四、向量存储与检索

向量转换 ：选择合适的嵌入模型是关键。LangChain 提供了多种嵌入模型，如 OpenAIEmbeddings、HuggingFaceEmbeddings 等。以 OpenAIEmbeddings 为例，它能够将文本转换为高维向量，捕捉文本的语义信息。以下是一个使用 OpenAIEmbeddings 的代码片段：

from langchain.embeddings import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()
text = "This is an example sentence."
text_embedding = embeddings.embed_query(text)
print(text_embedding)

输出的向量可以表示该文本在语义空间中的位置。不同的嵌入模型在性能和效果上可能有所差异，需要根据实际需求进行选择和评估。

存储构建 ：将生成的向量存储在向量数据库中。FAISS 是一个常用的向量相似度搜索库，它能够高效地进行向量检索。以下是一个使用 FAISS 构建向量存储的示例：

from langchain.vectorstores import FAISS

texts = ["This is the first document.", "This is the second document.", "This is the third document."]
embeddings = OpenAIEmbeddings()
vectorstore = FAISS.from_texts(texts, embeddings)

这里，我们将三个文本片段及其对应的向量存储在 FAISS 向量数据库中。向量数据库的选择需要考虑数据规模、检索效率、存储成本等因素。对于大规模数据，可以考虑使用分布式向量数据库，如 Pinecone 等。

检索实现 ：当用户提出问题时，将问题转换为向量，并在向量数据库中检索相似的文本片段。以下是一个检索示例：

query = "What is the first document about?"
query_embedding = embeddings.embed_query(query)
docs = vectorstore.similarity_search_by_vector(query_embedding, k=2)
for doc in docs:
    print(doc.page_content)

在这个例子中，我们检索出与问题最相似的两个文本片段，这些片段将作为生成答案的背景信息。检索的准确性对最终答案的质量至关重要，可以通过调整向量数据库的参数、优化检索算法等方式来提高检索效果。

五、生成答案

构建提示词 ：提示词的设计至关重要。它需要清晰地告诉语言模型基于哪些背景信息生成答案。例如，以下是一个提示词模板：

def build_prompt(question, context):
    prompt = f"""
    You are a helpful assistant. Answer the following question based on the provided context.

    Context: {context}

    Question: {question}

    Answer:
    """
    return prompt

将检索到的相关文本片段和用户问题整合到提示词中，引导模型输出符合预期的答案。在实际应用中，可以根据不同的业务场景和模型特点，对提示词进行优化，例如调整语气、明确答案格式等。

调用语言模型 ：将构建好的提示词输入到语言模型中。以 OpenAI 的 GPT - 3.5 - turbo 为例，可以使用以下代码：

from langchain.chat_models import ChatOpenAI

chat = ChatOpenAI(temperature=0.7)
prompt = build_prompt("What is the first document about?", docs[0].page_content)
answer = chat.predict(prompt)
print(answer)

通过调整温度值（temperature），可以控制答案的随机性和创造性。温度值越低，答案越确定；温度值越高，答案越灵活。

六、示例应用

智能客服系统

假设我们有一个电商公司的客服文档库，包括产品信息、退款政策、配送说明等。我们可以使用 RAG 构建一个智能客服系统：

文档处理 ：将客服文档进行文本提取和分割。
向量存储与检索 ：将文档片段及其向量存储在向量数据库中，当用户提问时，检索出相关的文档片段。
生成答案 ：基于检索到的片段和用户问题，生成准确的客服回答。

代码示例：

from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import FAISS
from langchain.chat_models import ChatOpenAI

# 文档处理（假设已完成文本提取和分割，得到 texts）
texts = ["Our product is a high-quality smartphone with a 6.5-inch display.", "We offer a 30-day refund policy for all products.", "Delivery usually takes 3-5 business days."]

# 向量存储与检索
embeddings = OpenAIEmbeddings()
vectorstore = FAISS.from_texts(texts, embeddings)

# 生成答案
chat = ChatOpenAI(temperature=0.7)
query = "What is your refund policy?"
query_embedding = embeddings.embed_query(query)
docs = vectorstore.similarity_search_by_vector(query_embedding, k=1)
prompt = f"""
You are a helpful customer service assistant. Answer the following question based on the provided context.

Context: {docs[0].page_content}

Question: {query}

Answer:
"""
answer = chat.predict(prompt)
print(answer)

输出结果可能为：“We offer a 30 - day refund policy for all products.”

在实际应用中，智能客服系统可以与企业的业务系统集成，例如订单管理系统、库存管理系统等，以提供更全面、准确的客户服务。同时，还可以通过用户反馈机制，不断优化和更新客服文档库，提高系统的性能。

知识管理系统

在企业内部，知识管理系统可以帮助员工快速获取所需信息。例如，一个技术团队的知识库包含项目文档、技术指南、常见问题解答等：

文档处理 ：定期更新知识库文档，并进行文本提取和分割。
向量存储与检索 ：将文档片段及其向量存储在向量数据库中，方便员工提问时检索。
生成答案 ：基于检索到的片段生成准确的知识答案。

代码示例：

from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import FAISS
from langchain.chat_models import ChatOpenAI

# 文档处理（假设已完成文本提取和分割，得到 texts）
texts = ["Project X is a web application developed using React and Node.js.", "The API documentation for Project X can be found at http://example.com/api-docs.", "Common issues and solutions for Project X are listed in the troubleshooting guide."]

# 向量存储与检索
embeddings = OpenAIEmbeddings()
vectorstore = FAISS.from_texts(texts, embeddings)

# 生成答案
chat = ChatOpenAI(temperature=0.7)
query = "Where can I find the API documentation for Project X?"
query_embedding = embeddings.embed_query(query)
docs = vectorstore.similarity_search_by_vector(query_embedding, k=1)
prompt = f"""
You are a helpful knowledge management assistant. Answer the following question based on the provided context.

Context: {docs[0].page_content}

Question: {query}

Answer:
"""
answer = chat.predict(prompt)
print(answer)

输出结果可能为：“The API documentation for Project X can be found at http://example.com/api - docs.”

知识管理系统不仅可以帮助员工快速解决问题，还能促进知识共享和团队协作。通过将团队成员的经验和知识整合到系统中，其他成员可以轻松获取和学习，提高工作效率。

法律知识检索系统

在法律领域，构建一个法律知识检索系统可以帮助律师、法官等快速查找相关法律法规、案例等信息。以法律法规模型为例，我们可以实现如下功能：

文档处理 ：收集各类法律法规文件、案例文档等，进行文本提取和分割。由于法律文本通常具有严谨的结构和术语，可能需要专门的处理工具和方法来确保文本的准确性和完整性。
向量存储与检索 ：将处理后的文本片段及其向量存储在向量数据库中。考虑到法律知识的海量性和专业性，可能需要使用高性能、高容量的向量数据库，并结合法律领域特定的检索算法来提高检索效率和准确性。
生成答案 ：根据用户提出的法律问题，检索出相关的法律条文和案例信息，并生成准确、严谨的法律答案。在生成答案时，需要确保答案符合法律规范和专业要求，避免出现误导性或错误的信息。

代码示例（简要示意）：

from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import FAISS
from langchain.chat_models import ChatOpenAI

# 文档处理（假设已完成文本提取和分割，得到 texts）
texts = ["The Civil Code of the People's Republic of China stipulates the rights and obligations of civil subjects.", "In a certain case, the court ruled that the defendant shall bear the liability for breach of contract based on Article XX of the Civil Code."]

# 向量存储与检索
embeddings = OpenAIEmbeddings()
vectorstore = FAISS.from_texts(texts, embeddings)

# 生成答案
chat = ChatOpenAI(temperature=0.5)
query = "What are the legal provisions regarding breach of contract?"
query_embedding = embeddings.embed_query(query)
docs = vectorstore.similarity_search_by_vector(query_embedding, k=2)
prompt = f"""
You are a professional legal assistant. Answer the following legal question based on the provided context.

Context: {docs[0].page_content} {docs[1].page_content}

Question: {query}

Answer:
"""
answer = chat.predict(prompt)
print(answer)

输出结果可能为：“According to the Civil Code of the People’s Republic of China and relevant case rulings, when a party breaches a contract, they shall bear the corresponding liability for breach of contract as stipulated in Article XX of the Civil Code.”

这个系统可以帮助法律专业人士快速获取法律知识，提高工作效率和决策质量。同时，也可以为普通用户提供更好的法律咨询服务。

七、性能优化与评估

在构建 RAG 系统的过程中，性能优化和评估是不可或缺的环节。

性能优化

文本处理优化 ：对于大规模文档，可以采用分布式文本处理框架，如 Apache Spark 等，提高文本提取和分割的效率。同时，优化文本清洗和预处理流程，减少不必要的计算和存储开销。
向量存储与检索优化 ：根据实际需求选择合适的向量数据库，并对其参数进行调优，例如调整向量维度、索引类型等，以提高检索速度和准确性。此外，可以采用缓存机制，将频繁访问的向量数据缓存到内存中，减少磁盘 I/O 操作。
模型优化 ：选择合适的语言模型和嵌入模型，并根据业务场景进行微调（fine - tuning），以提高模型的性能和效果。同时，可以采用模型压缩技术，如量化、剪枝等，减少模型的计算资源消耗。

评估指标

准确性 ：评估生成答案是否准确、符合事实，可以通过人工标注或与权威数据集进行对比来衡量。
召回率 ：衡量系统是否能够检索出与问题相关的所有重要文档片段，可以通过计算实际相关片段与检索出相关片段的比例来评估。
响应时间 ：评估系统从接收用户问题到生成答案的整个过程所需的时间，这对于实时性要求较高的应用场景尤为重要。
用户体验 ：从用户的角度评估系统的易用性、友好性，例如提示词是否清晰、答案是否易于理解等。

通过持续的性能优化和评估，不断改进 RAG 系统，提高其在实际应用中的表现。

八、总结与展望

通过以上步骤和示例，我们深入探讨了基于 LangChain 实现简单 RAG 功能的方法。从环境搭建、文档处理、向量存储与检索到生成答案，每一步都至关重要，而具体的应用场景如智能客服系统、知识管理系统、法律知识检索系统更是展示了 RAG 的强大功能。随着技术的不断发展，RAG 功能将更加完善，应用场景也将更加广泛，有望在智能教育、医疗咨询、金融分析等众多领域发挥更大的价值，为我们的工作和生活带来更多便利。现在，你是否已经准备好尝试构建自己的 RAG 系统了呢？快去动手实践吧，开启属于你的智能问答之旅！