实现一个支持引用文本的RAG系统不仅能够动态整合外部知识库，还可以在生成答案的同时提供引用文本，从而显著增强答案的可信度和可解释性。
1. 业务需求描述 2. 系统的工作流程 3. 关键技术要点 3.1 文件更新与动态管理 3.1 提供引用文本的重要性 4. LangChain组件概述 5. 核心实现思路 5.1. 文档加载与预处理 5.2. 嵌入与存储 5.3. 问题检索与答案生成 5.4. 提供引用文本 6. 应用场景
-- 领取学习资料大礼包，见文末
在人工智能迅速发展的今天，大语言模型（如GPT-4）展示出了强大的语言生成能力。
然而，这类模型也有其局限性，比如无法动态更新知识库、对特定领域信息掌握不足以及容易生成“看似合理但错误”的答案。
为了解决这些问题，RAG（Retrieval-Augmented Generation）应运而生。
RAG的最大特点在于，它不仅生成答案，还能提供答案的上下文引用文本。
这种能力显著提高了系统的可信度和可解释性，尤其在需要验证信息来源的应用场景（如法律、医学、学术研究等）中具有重要价值。
相关阅读：
RAG：本地知识库，通过RAG来解决信息的精准生成
LlamaIndex的实现：从0到1开发AI Agent（智能体）（八）| 智能体3：通过Llamalndex实现检索增强生成（RAG）
1. 业务需求描述
知识库中的文档可能会不断更新，例如新增文件、修改现有文件等。系统需要能够检测到这些变化，并自动完成以下任务：
识别新增或更新的文件（通过计算文件的哈希值）。 生成嵌入并存储到向量数据库中。 避免重复处理已存在的文档，提升效率。
系统不仅需要生成针对用户问题的自然语言答案，还需要明确标明答案的来源，提供可验证的引用文本。这一功能对提升系统的可信度和可解释性至关重要。
用户提问后，系统检索最相关的片段，将其作为上下文提供给生成模型。
在每个文本片段中，附加文件名、来源路径、片段内容等元信息。
2. 系统的工作流程
RAG系统的实现可以分为以下几个步骤，每一步都起着至关重要的作用。以下流程图展示了一个完整的RAG系统工作流程：
可以看出，在生成答案的同时，系统会提供引用文档内容作为支撑，这与仅提供答案的传统生成式模型形成了鲜明对比。
3. 关键技术要点
3.1 文件更新与动态管理
为了确保系统知识库的实时性，我们通过计算文件哈希值检测文档的更新或新增。一旦检测到新文件或文件变化，系统会自动生成新嵌入并更新向量数据库。
3.1 提供引用文本的重要性
在实际应用中，系统提供引用文本的能力可以解决以下问题：
增强可信度：用户不再只是依赖生成模型的“黑盒答案”，而是可以验证引用内容的准确性。 提升可解释性：对于复杂问题，引用上下文能让用户了解生成答案的依据和背景。 支持领域审查：在需要严格审查的领域（如法律、医学），引用文本是不可或缺的。
4. LangChain组件概述
LangChain是一个非常适合的工具框架。LangChain通过模块化设计，简化了从数据加载到问答生成的全流程操作。当前系统使用到的核心模块包括：
数据加载器（Loader）：支持多种数据格式的加载（如文本、PDF等）。 文本分割器（Text Splitter）：将长文本分割为适合检索的短片段。 嵌入与向量存储：将文本映射到高维向量空间并存储，用于快速检索。 Prompt管理：灵活设计生成模型的输入提示（Prompt）。 问答链（Chain）：将检索和生成串联，完成从问题到答案的闭环。
接下来，我们将实现一个支持引用文本的RAG系统，介绍核心实现思路。
相关阅读：
LangChain：从0到1开发AI Agent（智能体）（四）| LangChain 的快速入门
5. 核心实现思路
完整代码已放到学习资料包中：langchain_rag_1.py
5.1. 文档加载与预处理
RAG系统的第一步是将文档加载进来。LangChain提供了强大的文档加载工具，如DirectoryLoader，可以一次性加载整个文件夹中的文本文件。加载后的文档需要经过预处理，包括清理无关字符和分割文本。
loader = DirectoryLoader(
dir_path,
glob="**/*.txt",
loader_cls=TextLoader,
loader_kwargs={"encoding": "utf-8"}
)
在文本分割阶段，系统会将文档切分成多个小片段，每个片段长度控制在500个字符左右，并设置一定的重叠区间（如50个字符）。这种分割方式确保了上下文的完整性，即使某些答案跨段落分布，也能在检索时保持语义连续性。
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
texts = text_splitter.split_documents(data)
5.2. 嵌入与存储
分割后的文本片段需要通过嵌入模型（如OpenAI Embeddings）转化为向量表示。嵌入模型会将文本映射到高维向量空间，其中相似的文本会具有更接近的向量表示。生成的向量存储在向量数据库（如Chroma）中。
在存储向量时，我们附加了文档的元信息（Metadata），包括：
文档来源（如文件名、路径）。 文档的哈希值（用于检测更新）。
元信息的存储是实现引用文本的关键，因为它允许我们在检索阶段返回片段的来源和内容。
embeddings = OpenAIEmbeddings(model="text-embedding-3-large", base_url="https://api.openai-hk.com/v1")
vectorstore = Chroma.from_documents(
documents=texts,
embedding=embeddings,
collection_name="book_demo",
persist_directory="./chroma_db"
)
相关阅读：
嵌入：一文说清楚人工智能的嵌入（Embedding）是什么
5.3. 问题检索与答案生成
当用户输入问题时，系统首先会根据问题检索最相关的文本片段。这一阶段的目标是找到支持答案的上下文，而不是直接生成答案。LangChain中，检索模块通过向量相似度计算（如余弦相似度）完成这一任务。
检索到的上下文片段将与用户问题一起，作为输入提供给生成模型。一个精心设计的Prompt模板会引导生成模型利用上下文回答问题。例如：
上下文信息如下：
---------------------
{context}
---------------------
请根据以上提供的上下文信息，不依赖其他外部知识，回答以下问题：
问题: {input}
答案:
在这个Prompt中，{context}是系统检索到的相关文档片段，而{input}是用户的问题。生成模型会在上下文的基础上，生成准确的答案。
def create_rag_chain(vectorstore, top_k=3):
"""创建RAG问答链
Args:
vectorstore: 向量存储实例
top_k (int): 检索的文档数量
Returns:
RetrievalChain: RAG链实例
"""
llm = ChatOpenAI(
model="gpt-4o-mini",
temperature=0,
base_url="https://api.openai-hk.com/v1"
)
retriever = vectorstore.as_retriever(search_kwargs={"k": top_k})
PROMPT = PromptTemplate.from_template("""
上下文信息如下
---------------------
{context}
---------------------
请根据以上提供的上下文信息，不依赖其他外部知识，回答以下问题
问题: {input}
答案:
""")
question_answer_chain = create_stuff_documents_chain(llm, PROMPT)
return create_retrieval_chain(retriever, question_answer_chain)
相关阅读：
余弦相似度：人工智能小白到高手：余弦相似度（Cosine Similarity）的简单理解
5.4. 提供引用文本
除了最终答案，系统还会将检索到的上下文片段作为引用文本一并展示。例如，对于问题“菩提祖师身边有多少个人？”，系统可能会返回如下结果：
问题： 菩提祖师身边有多少个人？
答案： 菩提祖师身边有三十个小仙侍立台下。
引用文档：
Source 1:
text : 这猴王整衣端肃，随童子径入洞天深处观看：一层层深阁琼楼，一进进珠宫贝阙，说不尽那静室幽居，直至瑶台之下。见那菩提祖师端坐在台上，两边有三十个小仙侍立台下。果然是： 大觉金仙没垢姿，西方妙相祖菩提； 不生不灭三三行，全气全神万万慈。 空寂自然随变化，真如本性任为之...
file_hash : 2545120aa977ff5dddc91f4cdabc808e
source : ..\data\xiyouji\西游记第一回.txt
Source 2:
text: “......”
这种引用形式不仅让用户知道答案的来源，还能验证答案是否准确。如果答案不够明确，用户可以直接查阅引用文档的全文。
for i, doc in enumerate(response["context"]):
print(f"\nSource {i+1}:")
print(f" text: {clip_text(doc.page_content, threshold=350)}")
for key in doc.metadata:
if key != "pk":
val = doc.metadata.get(key)
clipped_val = clip_text(val) if isinstance(val, str) else val
print(f" {key}: {clipped_val}")
6. 应用场景
支持引用文本的RAG系统在以下领域有着广泛的应用前景：
企业知识管理：帮助企业员工快速查询内部文档，同时提供引用内容便于验证。 法律咨询：在生成法律建议的同时，附上相关法规或案例的引用文本。 学术研究：支持研究人员检索论文片段，回答问题并标明来源。 医疗问答：提供医学知识回答的同时，附加权威文献或指南内容。
实现一个支持引用文本的RAG系统不仅能够动态整合外部知识库，还可以在生成答案的同时提供引用文本，从而显著增强答案的可信度和可解释性。
这一能力使得RAG系统在知识密集型领域大有可为。未来，系统可以进一步扩展系统功能，例如支持多模态数据（如图像、表格）或实时抓取外部信息，为用户提供更全面的智能服务。
