文档摘要提取是一个处理大量文本信息的实用技术，能够将冗长的文档精简成核心内容的小段落。如果您有一堆文档，比如PDF文档、网页或客户问答等，而您想快速把握文档的主旨，文档摘要提取是一个不错的选择。目前有一些强大的语言模型（LLMs）可以帮助我们进行文档摘要提取，它们拥有优秀的文本理解和合成能力。这些模型如何工作呢？简单来说，就是通过一些预设的步骤将文档内容输入到模型中，然后由模型输出文档的概要。- "填充法（Stuff）"：简单地将所有文档放入一个单一的输入提示符中。这是一种很简单的方法，适合用在大上下文窗口的模型，例如OpenAI的gpt-3.5-turbo-1106模型或Anthropic的Claude-2模型。
- "映射-归约法（Map-Reduce）"：在"映射"步骤中分别对每个文档进行摘要，然后通过"归约"步骤将所有摘要合并成一个最终的总结。
如果我们想要总结一个博客文章，这个流程可以通过几行代码实现。安装必要的软件包并设置环境变量之后，我们可以使用 load_summarize_chain 这个函数来创建一个预览管道。from langchain.chains.summarize import load_summarize_chainfrom langchain_community.document_loaders import WebBaseLoaderfrom langchain_openai import ChatOpenAI#加载网络文档loader = WebBaseLoader("<您博客文章的URL>")docs = loader.load()#配置LLM，例如使用OpenAI的模型llm = ChatOpenAI(temperature=0, model_name="gpt-3.5-turbo-1106")chain = load_summarize_chain(llm, chain_type="stuff")#执行文档总结summary = chain.run(docs)print(summary)上述代码将会输出文章的概要内容。如果文章太长而无法直接输入到模型中，我们还可以使用 "映射-归约法"。首先把每篇文档分别摘要，然后合并摘要内容。此外，"细化法（Refine）"是"映射-归约法"的变体，通过迭代地更新其答案来构建响应。对于每个文档，它将所有非文档输入、当前文档和最新的中间答案传递给一个LLM链，以获得一个新的答案。我们可以通过指定 chain_type="refine" 快速实施模型细化处理：from langchain_core.documents.base import Document as LangchainDocumentdocs = LangchainDocument(page_content=content, metadata={})from langchain_text_splitters import CharacterTextSplitterfrom langchain.chains.summarize import load_summarize_chain# Define LLM chainllm = ChatOpenAI(temperature=0, model_name="gpt-3.5-turbo-16k") chain = load_summarize_chain(llm, chain_type="refine")text_splitter = CharacterTextSplitter.from_tiktoken_encoder(chunk_size=max_token, chunk_overlap=0)split_docs = text_splitter.split_documents([docs])summary = chain.run(split_docs)总之，通过这些技术，我们可以将冗长且可能杂乱无章的信息，转化成清晰、精炼、信息量密集的概要。这项技术对于想要快速吸收信息的业务人员、研究人员甚至是日常的信息消费者来说，都是一个非常有用的工具。
立即咨询 JOTO
JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。 联系 JOTO 获取 AI 落地咨询
