在医疗、法律、金融等领域，非结构化文本（如临床记录、报告、合同）中蕴含着宝贵信息，但手动提取费时费力，传统NLP工具又需复杂训练。
谷歌最新开源的 LangExtract 为这一难题提供了优雅的解决方案。
LangExtract 是一款高精度信息抽取工具，本质是一个开源Python库，利用大型语言模型，从长文档中自动提取结构化信息，并且提供可视化来源定位。
它旨在帮助开发者将原始文本转换为有序的、机器可读的数据，而无需进行模型微调或具备深厚的机器学习专业知识。
GitHub: https://github.com/google/langextract
核心功能
• 精确源定位：将每次提取映射到源文本的确切位置，支持视觉高亮以供验证 • 可靠的结构化输出：基于你的示例强制执行一致的输出架构，并利用如Gemini等模型中的受控生成能力 • 长文档处理：通过优化的文本分块、并行处理和多轮提取来处理大型文档 • 交互式可视化：生成交互式HTML可视化，以便在原始上下文中审查数千次提取 • 灵活的模型支持：支持基于云的LLMs（如Gemini）和通过Ollama的本地模型 • 领域适应性：使用少量示例配置任何领域，无需模型微调
快速上手
几分钟内即可快速上手LangExtract！LangExtract可以通过pip轻松安装：
pip install langextract
对于独立环境，建议使用虚拟环境：
python -m venv langextract_env
source langextract_env/bin/activate # 在Windows上: langextract_env\Scripts\activate
pip install langextract设置API密钥
LangExtract默认使用如Gemini这样的云托管模型，这些模型需要API密钥。你可以从AI Studio获取Gemini模型的API密钥。
推荐通过.env文件设置API密钥：
# 将API密钥添加到.env文件
echo "LANGEXTRACT_API_KEY=your-api-key-here" > .env
# 保护你的API密钥
echo '.env' >> .gitignore基本提取流程
让我们通过一个简单的提取任务来展示LangExtract的核心功能。
1. 导入库
import langextract as lx
import textwrap2. 定义提取任务
创建一个清晰的提示词来描述你想要提取的内容，并提供示例来引导模型：
# 明确定义要提取的内容
prompt = textwrap.dedent("""\
按出现顺序提取角色、情感和关系。
使用确切文本进行提取。不要改写或重叠实体。
为每个实体提供有意义的属性以增加上下文。""")
# 提供示例来引导模型
examples = [
lx.data.ExampleData(
text="ROMEO. But soft! What light through yonder window breaks? It is the east, and Juliet is the sun.",
extractions=[
lx.data.Extraction(
extraction_class="character",
extraction_text="ROMEO",
attributes={"emotional_state": "wonder"}
),
lx.data.Extraction(
extraction_class="emotion",
extraction_text="But soft!",
attributes={"feeling": "gentle awe"}
),
lx.data.Extraction(
extraction_class="relationship",
extraction_text="Juliet is the sun",
attributes={"type": "metaphor"}
),
]
)
]3. 运行提取
将你的输入文本和提示词材料传递给lx.extract函数：
# 你要处理的输入文本
input_text = "Lady Juliet gazed longingly at the stars, her heart aching for Romeo"
# 运行提取
result = lx.extract(
text_or_documents=input_text,
prompt_description=prompt,
examples=examples,
model_id="gemini-2.5-flash", # 推荐的默认模型
)extract() 函数处理所有复杂性，包括：
• 将你的指令转换为有效的LLM提示词 • 对文本进行分块 • 使用适当的参数调用语言模型 • 解析和验证结果 • 将提取内容映射回其源位置
4. 可视化结果
LangExtract可以轻松可视化你的提取数据，并与源文本进行验证：
# 将结果保存到JSONL文件
lx.io.save_annotated_documents([result], output_name="extraction_results.jsonl")
# 生成交互式HTML可视化
html_content = lx.visualize("extraction_results.jsonl")
with open("visualization.html", "w") as f:
f.write(html_content)这将创建一个交互式HTML文件，突出显示原始文本上下文中的每个提取内容，便于验证和探索你的结果。
对于长文档，LangExtract提供高级选项以提升性能：
# 使用优化设置处理长文本
result = lx.extract(
text_or_documents="https://www.gutenberg.org/files/1513/1513-0.txt", # Romeo & Juliet的URL
prompt_description=prompt,
examples=examples,
model_id="gemini-2.5-flash",
extraction_passes=3, # 通过多次传递提高召回率
max_workers=20, # 并行处理以提升速度
max_char_buffer=1000 # 较小的上下文以提高准确性
)更多高级用法和详细示例，请查看项目文档进行参考学习。
典型应用场景
• 医疗行业：提取患者病历中的药物信息、剂量、检查项目 • 法律领域：合同条款、日期、金额、责任方的自动化提取 • 科研文献：从论文中提取实验参数、结果、数据表 • 商业文档：发票、订单、财务报告的数据抽取 • 客户支持：从聊天记录中提取关键信息（投诉原因、时间、客户ID）
写在最后
LangExtract以其精准来源定位和交互式HTML可视化，革新了非结构化文本的结构化提取流程。支持Gemini/Ollama，处理临床记录、长文档等。
其基于大语言模型的理解能力和智能处理机制，为用户提供高效、可靠的信息提取体验
