一键把杂乱文档变成结构化知识图谱！Hyper-Extract：LLM驱动的超强知识提取神器
每天面对海量非结构化文本：研究报告、新闻文章、合同、病历、历史资料……阅读容易，真正“理解”和“利用” 很极难。传统工具难以应对复杂关系，而大语言模型（LLM）虽强大，却缺乏系统化的结构化输出能力。
Hyper-Extract（yifanfeng97/Hyper-Extract）一个智能的、LLM驱动的知识提取与演进框架，以一条命令 将高度非结构化的文本转化为持久化、可预测、强类型的 Knowledge Abstracts（知识摘要）。从简单列表到复杂知识图谱、超图（Hypergraph），甚至时空图（Spatio-Temporal Graph），全部支持。
✨ 核心功能全解析
Hyper-Extract 的设计是拥抱复杂性，同时极大简化使用。核心特性包括：
1.8 大 Auto-Types（强类型知识结构）
框架输出数据结构基础，基于 Pydantic 实现类型安全、可序列化、支持增量合并和可视化操作。分为两大类：
○Record Types（记录型，无实体关系）：
▪AutoModel：提取单个结构化对象（如公司财报摘要、产品规格）。输出为固定字段的 Pydantic 模型。
▪AutoList：有序集合（排行榜、步骤序列）。保持原始顺序。
▪AutoSet：去重集合（关键词、唯一实体列表）。自动消除重复。
○Graph Types（图结构，带实体关系）：
▪AutoGraph：二元关系知识图谱（实体-关系-实体）。经典 KG 结构。
▪AutoHypergraph：超图，支持多实体（3+）参与的复杂关系（如多方协作、合同多方当事人）。支持扁平列表或嵌套角色分组。
▪AutoTemporalGraph：时序图，在关系上附加时间维度（事件时间线）。
▪AutoSpatialGraph：空间图，附加地理位置信息。
▪AutoSpatioTemporalGraph：时空图，同时支持时间 + 空间，实现完整“谁、何事、何时、何地”上下文。
2.10+ Extraction Engines（提取引擎）
开箱即用多种先进方法：
○RAG-based：GraphRAG、LightRAG、Hyper-RAG、HypergraphRAG、Cog-RAG 等，支持检索增强生成，提升大规模文档处理准确性。
○Typical：KG-Gen、iText2KG、iText2KG* 等传统知识图谱生成方法。
用户可通过模板或 API 灵活选择最适合的引擎。
3.Declarative YAML Templates（声明式 YAML 模板）
零代码定义提取逻辑。内置 80+ 预设模板，覆盖 6 大领域：Finance（金融）、Legal（法律）、Medical（医学）、TCM（中医）、Industry（工业）、General（通用）。
模板包含：语言、名称、类型、描述、output schema（字段定义）、guideline（提取指引、规则）、identifiers（唯一标识规则）、display（可视化标签）。
支持自定义模板，详见 DESIGN_GUIDE.md。
4.Incremental Evolution（增量演进）
核心亮点之一：已提取的 Knowledge Abstract 支持 feed 新文档 持续扩展，无需重新处理全部数据。知识可持久化、搜索和演化。
5.CLI + Python API 双模式
○CLI（he 命令）：适合快速处理、批量操作。
○Python SDK：深度集成，支持自定义 pipeline。
其他实用功能：多语言支持（en/zh 等）、搜索查询知识摘要、可视化（he show 或 ka.show()）、配置管理（API Key 等）、序列化保存/加载。
安装方法
推荐使用 uv（现代 Python 包管理器）：
●CLI 全局安装（推荐大多数用户）：
uv tool install hyperextract
安装后即可全局使用 he 命令。
●作为 Python 库安装：
uv pip install hyperextract
从源码安装（开发/最新版）：
●●●bash git clone https://github.com/yifanfeng97/Hyper-Extract.git
cd Hyper-Extract
uv sync # 安装依赖
cp .env.example .env
# 编辑 .env 填入 OPENAI_API_KEY 和可选的 OPENAI_BASE_URL
项目使用 pyproject.toml + uv.lock 管理，兼容性强。
使用方法
CLI （默认使用 gpt-4o-mini + text-embedding-3-small）：
●●●bash # 配置 API Key
he config init -k YOUR_OPENAI_API_KEY
# 提取（使用 biography_graph 模板）
he parse examples/en/tesla.md -t general/biography_graph -o ./output/ -l en
# 查询
he search ./output/ "What are Tesla's major achievements?"
# 可视化
he show ./output/
# 增量补充
he feed ./output/ examples/en/tesla_question.md
he show ./output/
Python API 示例：
●●●python import os
from dotenv import load_dotenv
from hyperextract import Template
load_dotenv()
ka = Template.create("general/biography_graph", language="en")
with open("examples/en/tesla.md", "r", encoding="utf-8") as f:
text = f.read()
result = ka.parse(text) # 提取
ka.show(result) # 可视化
ka.feed(result, new_text) # 增量
支持批量处理、自定义方法选择等高级用法。详见 examples/ 目录和官方文档。
技术原理、架构与实现方式
Hyper-Extract 采用 三层架构，清晰解耦，便于扩展：
1.Layer 1: Auto-Types（数据层）
核心是 8 个强类型类（位于 hyperextract/types/），继承自 base.py。
○使用 Pydantic 验证字段、支持 JSON 序列化。
○内置方法：search()、visualize()、save()、merge() 等。
○Graph 类型实现节点/边/超边管理，Temporal/Spatial 添加专用字段和标识逻辑（identifiers 中的 time_field、location_field）。
2.Layer 2: Methods（算法层）
hyperextract/methods/ 下分 rag/ 和 typical/ 子目录。
○RAG 方法利用检索增强，提升长文档上下文处理和准确性（GraphRAG 等经典范式）。
○Typical 方法聚焦直接提示工程 + 结构化解析。
通过 registry.py 注册和管理引擎，用户可切换或扩展。
3.Layer 3: Templates（配置层）
YAML 驱动，hyperextract/templates/presets/ 提供领域模板。
○Schema vs Guideline 分离：output 定义“提取什么”（字段、类型），guideline 定义“如何高质量提取”（规则、避免常见错误）。
○identifiers 确保实体/关系唯一性（e.g., relation_id 模板字符串）。
○display 控制可视化标签生成。
DESIGN_GUIDE.md 详细说明设计流程、决策树、类型特定最佳实践和 QA 检查列表。
数据流：文档 → Template（加载 YAML + Prompt 构建）→ Method（LLM 调用）→ Auto-Type 实例（验证 + 后处理）→ 可持久化 Knowledge Abstract。支持增量是因为 Auto-Types 设计为可合并的。
项目Python 实现，依赖 LLM API（OpenAI 兼容）。可视化可能集成 NetworkX 或类似库生成图谱。
在复杂结构支持（Hypergraph、时空）、开箱即用模板、CLI 便利性 和 增量演进 上具有显著优势。适合研究者、开发者、分析师、企业知识管理等场景。
—— 如此才是
把复杂的技术，讲成你真正能用上的生产力
