引言
说明一下：我并不是这一主题的专家，我选择它作为一个学习项目，希望通过实践深入了解。
过去，从原始文本构建知识图谱并不容易。这项工作需要识别实体与关系、编写抽取规则，甚至训练专业的机器学习模型，整个过程复杂又耗时。而大语言模型（LLM）的出现让这一切变得灵活得多。LLM 能够阅读自然语言文本，并将其转换成结构化数据，因此完全可以作为自动化流程的一部分，用于生成知识图谱。
这篇文章将介绍我构建的一个学习项目：
利用 LLM，将非结构化文本转化为一个可交互的知识图谱网页。
项目完整代码已发布在 AI-Knowledge-Graph[1] 仓库中。
简单示例
下面通过一个简单示例展示这个项目的效果。当我们输入如下这段无结构的文本时：
Henry是来自加拿大的才华音乐家，最初在著名指挥家MariaRodriguez指导下接受古典钢琴训练。之后，他与妹妹Lucy组建了一支名为TheMapleLeaves的摇滚乐队，Lucy曾在多伦多大学学习作曲。TheMapleLeaves于2020年8月12日发布首张专辑《PolarLights》，因融合古典与摇滚的音乐风格而备受赞誉。Lucy还投身环保行动，加入CleanEarth担任区域大使，推动更严格的野生动物保护法律。受到Lucy的公益精神影响，Henry也开始在家乡的动物收容所做志愿者。虽然兄妹俩在创作上曾有分歧，但最终成功将Lucy的古典作曲与Henry的摇滚吉他融合。2021年，TheMapleLeaves在欧洲巡演，在巴黎、柏林、罗马等城市的演出全部售罄。巡演期间，Henry对国际美食产生浓厚兴趣，并与当地厨师合作拍摄了一部关于区域料理技法的短纪录片。
AI-Knowledge-Graph 工具会调用你配置的 LLM，从上述文本中提取知识，并生成一个知识图谱的 HTML 页面，效果示例如下：
由 AI-Knowledge-Graph 生成的知识图谱
工作流程概览
•文本切分：将大型文档自动拆分成可处理的小段落。•知识抽取：LLM 从每个文本块中识别并抽取 “主语–谓语–宾语（SPO）” 三元组。•实体标准化：将同一实体的不同表达方式（如 “AI” 与 “人工智能”）统一成一个名称。•关系推断：通过逻辑规则（如传递性）和 LLM 推理补全隐含的关系，连接原本分散的子图。•交互式可视化：最终生成的知识图谱会以可交互网络的形式呈现在浏览器中。
文本到知识图谱处理流程的高层示意图
详细工作原理
1. 文本切分
由于 LLM 存在上下文窗口限制（本地环境也受内存限制），当需要处理大文档时，工具会自动将文本切分成多个小块（例如每 500 个词一块，并带有适当重叠）。
重叠的作用是保持块与块之间的语义连续性，避免句子被分割后丢失语境。
每个文本块随后会被发送给 LLM，并附上专门的提示词，请它从中抽取 SPO 三元组。
2. LLM 驱动的知识抽取
对于每一个文本块，工具都会让 LLM 输出一个包含三元组的 JSON 数组，并注明这些信息来源于哪个文本块。
以下为一个示例（原文后续内容中会展示具体的 JSON 结构）：
[{"subject":"eli whitney","predicate":"invented","object":"cotton gin","chunk":1},{"subject":"Industrial Revolution","predicate":"reshapes","object":"economic systems","chunk":1},{"subject":"amazon","predicate":"transformed","object":"retail","chunk":3}]提示语鼓励一致的实体命名、简短的关系短语（1-3个词），并避免使用代词引用。
从所有文本块中提取的三元组将被组合成初步的原始知识图谱。
3.统一实体命名
在抽取后，通常会发现同一实体有多个变体（例如，“AI”，“A.I.”，“人工智能”）。为了避免图谱中出现重复或分散的节点，工具提供了实体标准化步骤。
•基本规范化：将实体名称统一为小写、去除多余空格等，合并明显的重复项。•标准化（可选）：启用后，LLM 会将可能指代同一实体的不同表述进行聚类。例如，“New York”，“NYC” 和 “New York City” 会合并为一个标准节点，“United States”，“U.S.” 和 “USA” 会成为另一个节点。
此步骤提高了图谱的一致性，通常建议启用。如果需要原始的抽取数据，可以在配置文件中禁用此功能。
4.推断隐藏关系以丰富图谱
即使彻底阅读文本，也可能无法捕捉到隐含的关系。该工具通过两种方式解决这一问题：
基于规则的推断：
•传递关系：如果 A 使得 B 成立，且 B 推动 C，系统可以推断出 A 影响 C。•词汇相似性：具有相似名称的实体可能会被链接为“相关”的关系。
LLM 驱动的推断：
•该工具可以提示 LLM 提出可能存在的关系连接，否则这些子图将是独立的。例如，如果一个子图是关于工业革命的，另一个子图是关于 AI 的，LLM 可能推断出二者之间的历史或概念性关系（例如：“AI 是工业革命时期技术创新的产物”）。
这些推断的关系会以不同的方式标记（例如，用虚线表示），以便与显式声明的事实区分开来。
此推断步骤通常会增加大量新的关系，极大地减少孤立的子网络。如果您希望仅保留从文本中抽取的关系，可以在配置文件中禁用此功能。与块编号不同，推断关系会包括一个属性，标明该关系是推断得出的。此属性在可视化时非常重要，它将用于标识虚线边缘关系。
示例结构：
[{"subject":"electrification","predicate":"enables","object":"Manufacturing Automation","inferred":true},{"subject":"tim berners-lee","predicate":"expanded via internet","object":"information sharing","inferred":true}]LLM 提示语
当启用所有选项时，将会向 LLM 发送四个提示语。首先是初始的主语-谓语-宾语（SPO）知识抽取：
知识抽取系统提示语：
你是一个专门从事知识抽取和知识图谱生成的高级 AI 系统。你的专长包括在文本中识别一致的实体引用和有意义的关系。重要指令：所有关系（谓语）必须限制在最多3个单词以内。理想情况下是1-2个单词。这是硬性限制。
知识抽取用户提示语：
任务：阅读下面的文本（由三个反引号分隔），并识别每个句子中的所有主语-谓语-宾语（S-P-O）关系。然后生成一个包含对象的 JSON 数组，每个对象代表一个三元组。请严格遵守以下规则：-实体一致性：在整个文档中使用一致的实体名称。例如，如果"John Smith"被提及为"John"、"Mr. Smith"和"John Smith"，请在所有三元组中使用单一一致的形式（最好是最完整的形式）。-原子化术语：识别不同的关键术语（如对象、地点、组织、缩略词、人名、状况、概念、感情等）。避免将多个想法合并为一个术语（它们应该尽可能原子化）。-统一引用：将任何代词（例如“he”，“she”，“it”，“they”等）替换为实际引用的实体（如果可以识别）。-配对关系：如果多个术语在同一句话中共现（或者在使它们具有上下文关系的短段落中），为每对有意义的关系创建一个三元组。-重要指令：谓语必须最多3个单词。绝不超过3个单词。保持极其简洁。-确保文本中识别到的所有可能关系都被捕捉，并形成 S-P-O 关系。-标准化术语：如果同一概念出现轻微变化（例如，“artificial intelligence”和“AI”），请一致地使用最常见或规范的形式。-将所有 S-P-O 文本转换为小写，包括人名和地名。-如果提到了某人名字，则创建与其所在位置、职业及其所知内容（如发明、著作、创办、头衔等）的关系（如果适合并且符合上下文）。重要注意事项：-**实体命名精确性**：使用特定的形式区分相似但不同的实体。-**最大化连接性**：通过为文档中的相同概念使用相同的实体名称来提高连接性。-**考虑整个上下文**：在识别实体引用时考虑整个上下文。-**所有谓语必须是3个单词或更少**-这是一个硬性要求。### 输出要求：-不要包含任何文本或评论，除 JSON 外的内容都不允许。-仅返回 JSON 数组，每个三元组作为包含“subject”、“predicate”和“object”的对象。-确保 JSON 格式有效且格式正确。
除了上面的知识抽取系统提示语和用户提示语外，还有三个未列出的提示语，它们用于实体标准化和关系推断。这些提示语可以在 src/knowledge_graph/prompts.py[2] 文件中查看（并进行调整）。
交互式图形可视化
通过生成全面的 SPO 三元组（包括原始和推断的三元组），该工具利用 PyVis（一个 Vis.js 的 Python 接口）生成交互式 HTML 可视化。在浏览器中打开生成的文件后，您将看到：
•颜色编码的社区：同一聚类中的节点共享相同的颜色。聚类通常映射到文本中的子主题或主题。•节点大小按重要性：与其他节点有许多连接（或高中心性的节点）将显示为更大。•边缘样式：实线表示文本导出的关系，虚线表示推断的关系。•交互式控制：平移、缩放、拖动节点、切换物理效果、切换明暗模式和过滤视图。
这种方式使得在视觉上非常吸引人的格式中，探索关系变得更加简便。
程序流程
以下是程序的基本流程（代码仓库的 README.md 中有更详细的流程图）：
安装 AI-Knowledge-Graph
要在计算机上运行此工具，您需要满足以下要求：
系统要求：
•一台计算机（Windows、Linux 或 MacOS）•安装 Python（版本 3.12 或更高）•访问兼容 OpenAI 的 API 端点（如 Ollama、LiteLLM、LM Studio、OpenAI 订阅等）•安装 Git 以克隆代码仓库
下载并安装依赖：
1.克隆代码仓库到您将要运行的系统，并切换到该目录：
git clone https://github.com/robert-mcdermott/ai-knowledge-graph.git cd ai-knowledge-graph
uv sync
pip install -r requirements.txt
配置 AI-Knowledge-Graph
编辑 config.toml 文件以根据你的实际情况进行配置。此文件中可以配置 LLM 模型、API 端点（URL）、最大内容窗口长度以及 LLM 的温度等参数。以下是一个示例配置，我在本地使用 Ollama 托管的 Google Gemma 3 模型：
[llm]model ="gemma3"api_key ="sk-1234"base_url ="http://localhost:11434/v1/chat/completions"max_tokens =8192temperature =0.2[chunking]chunk_size =200# 每个块的字数overlap =20# 块之间的重叠字数[standardization]enabled =true# 是否启用实体标准化use_llm_for_entities =true# 是否使用 LLM 进行额外的实体解析[inference]enabled =true# 是否启用关系推断use_llm_for_inference =true# 是否使用 LLM 进行关系推断apply_transitive =true# 是否应用传递推断规则[visualization]edge_smooth =false# 是否平滑边缘线，true 或 false
注意：对于本地使用的 LLM，你可以使用 Ollama 或 LM Studio 的 API 端点；对于访问任何商业 LLM 提供商（如 AWS Bedrock、Azure、Anthropic、OpenAI 等），你可以使用 LiteLLM。
创建知识图谱
现在你已经安装并配置好了 AI-Knowledge-Graph，指向你的 LLM，接下来就可以创建你的第一个知识图谱了。获取一份纯文本文档（当前只支持文本格式），该文档将用于创建知识图谱。
接下来，你需要运行 generate-graph.py 脚本。以下是该脚本的帮助信息：
usage: generate-graph.py [-h][--test][--config CONFIG][--output OUTPUT][--input INPUT][--debug][--no-standardize][--no-inference]KnowledgeGraphGeneratorandVisualizeroptions:-h,--help 显示此帮助信息并退出--test 使用示例数据生成测试可视化--config CONFIG 配置文件路径--output OUTPUT 输出的 HTML 文件路径--input INPUT 输入文本文件路径（如果不使用--test，则为必需）--debug 启用调试输出（原始 LLM 响应和抽取的 JSON）--no-standardize 禁用实体标准化--no-inference 禁用关系推断
以下是一个创建知识图谱的示例，假设当前目录下有一个名为 mydocument.txt 的文本文件（如果你使用的是 uv，请将 python 替换为 uv run）：
python generate-graph.py --input mydocument.txt --output mydocument.html
执行上述命令时，控制台输出将如下所示：
python generate-graph.py --input mydocument.txt --output mydocument.htmlUsing input text from file: mydocument.txt==================================================PHASE 1: INITIAL TRIPLE EXTRACTION==================================================Processing text in3 chunks (size:500 words, overlap:50 words)Processing chunk 1/3(500 words)Processing chunk 2/3(500 words)Processing chunk 3/3(66 words)Extracted a total of 73 triples from all chunks==================================================PHASE 2: ENTITY STANDARDIZATION==================================================Startingwith73 triples and106 unique entitiesStandardizing entity names across all triples...Applied LLM-based entity standardization for15 entity groupsRemoved8self-referencing triplesStandardized106 entities into101 standard formsAfter standardization:65 triples and72 unique entities==================================================PHASE 3: RELATIONSHIP INFERENCE==================================================Startingwith65 triplesTop5 relationship types before inference:- pioneered:9 occurrences- invented:7 occurrences- developed:6 occurrences- develops:6 occurrences- was:4 occurrencesInferring additional relationships between entities...Identified18 disconnected communities in the graphInferred27new relationships between communitiesInferred30new relationships between communitiesInferred6new relationships within communitiesInferred8 relationships based on lexical similarityAdded51 inferred relationshipsTop5 relationship types after inference:- invented:7 occurrences- pioneered:6 occurrences- developed:6 occurrences- develops:6 occurrences- related to:6 occurrencesAdded57 inferred relationshipsFinal knowledge graph:116 triplesSaved raw knowledge graph data to mydocument.jsonProcessing116 triples for visualizationFound72 unique nodesFound55 inferred relationshipsDetected12 communities usingLouvain methodKnowledge graph visualization saved to mydocument.html
现在，在你的浏览器中打开生成的 HTML 文件，探索知识图谱。如果你只是跟随阅读并希望看到由该系统创建的知识图谱，可以看一个关于工业革命的文档生成的示例可视化：
你可以使用页面顶部的菜单扩展控制面板，调整布局物理效果、隐藏或显示节点/边缘标签、查看图谱统计信息或选择/过滤节点和边缘。页面还提供了暗黑模式，如下图所示：
实验不同的设置
实验不同的块大小、重叠大小以及 LLM 模型是很重要的。通常，我会将重叠设置为块大小的 10%。较小的文档切块大小（100-200）似乎能够提取更多关系，但这可能会导致其他事物和概念/社区之间的关系较少，因为它们分散在小块之间。你需要通过实验找到合适的块大小和模型。我也相信通过调整提示语，还可以做出许多优化。
