Open Parse是一个开源工具，旨在解决复杂文档分块难题。它采用视觉化驱动的文档分析方式，能够保留文档的原始语义结构，并支持Markdown语法和高精度表格解析。Open Parse可应用于各种场景，包括语义处理、信息提取、文档摘要和问答系统。
在文档处理的过程中，将复杂文档有效分块并不是一件容易的事。高质量的分块结果对AI应用程序的成功至关重要，但大多数开源工具在处理复杂文档时都存在一些缺陷。这就是Open Parse应运而生的原因 - 它旨在填补这一空白，为开发者提供一个灵活、易用且能有效分析文档布局的工具库。
什么是Open Parse?
Open Parse是一个旨在解决复杂文档分块难题的工具。与其他工具不同，它采用视觉化的方式驱动文档分析，而不是简单地将文档转换为纯文本再切分，因此能更好地保留原始文档的语义结构，如标题、章节和列表等。传统的文本分割则会丢失这些宝贵的信息。
此外，Open Parse还支持解析Markdown语法和高精度提取表格内容，这是现有工具所欠缺的。总的来说，Open Parse极大地增强了复杂文档处理的能力，为AI应用提供了高质量的输入数据源。
Open Parse的优势
相比现有的文本分割、布局解析和商业解决方案，Open Parse拥有以下明显优势：
视觉化驱动的文档分析： Open Parse不是将文档简单地转换为纯文本再切分，而是先分析文档的视觉布局结构，因此能更好地保留语义信息。这种方式克服了文本分割的缺陷。
保留原始语义结构：由于采用视觉化分析，Open Parse能够有效保留文档中的标题、章节、列表等结构信息，而不是将其视为扁平的文本块。
支持 Markdown: Open-Parse 支持基本的 Markdown 语法，如标题、粗体和斜体，方便用户处理 Markdown 文档，并将其转换为其他格式。
高精度表格解析: Open-Parse 的表格解析功能基于最先进的 Table Transformer (DETR) 模型，能够实现高精度的表格提取。Open-Parse 能够将表格准确地提取为 Markdown 格式，超越传统工具，有效解决复杂表格布局的解析难题。
可扩展: 用户可以轻松添加自定义的后处理步骤，以满足特定的需求，例如将解析后的内容用于信息提取、文档摘要等任务。
易用性: Open-Parse 提供良好的编辑器支持和完善的文档，易于使用和学习，降低了开发者的使用门槛。
开源免费，优于商业解决方案：与一些定价10美元/1000页的商业解决方案不同，Open Parse是一个完全开源和免费的工具。用户无需将数据共享给第三方供应商，降低了隐私风险。
Open-Parse应用场景
Open-Parse 可以应用于各种场景，包括：
语义处理: 通过嵌入文本并进行聚类分析，将语义相似的节点分组，例如将同一主题的段落聚合在一起。
信息提取: 从文档中提取关键信息，如表格数据、标题和文本块，方便进行数据分析和知识图谱构建。
文档摘要: 生成文档的摘要，方便快速了解文档内容，提高信息获取效率。
问答系统: 将文档解析成语义单元，并与问答系统结合，实现对文档内容的精准问答。
Open Parse核心代码
表格解析：openparse/tables/parse.py
用于从 PDF 文档中提取表格数据的。它定义了多个函数和类，并使用不同的算法实现了表格解析功能。以下是代码的主要部分：
1. 类定义:
ParsingArgs: 基类，定义了基本的解析参数，包括 parsing_algorithm 和 table_output_format。
TableTransformersArgs: 继承自 ParsingArgs，用于 Table Transformer 模型的参数，包括置信度阈值和输出格式。
PyMuPDFArgs: 继承自 ParsingArgs，用于 PyMuPDF 库的参数，包括输出格式。
UnitableArgs: 继承自 ParsingArgs，用于 Unitable 模型的参数，包括置信度阈值和输出格式。
2. 函数定义:
_ingest_with_pymupdf: 使用 PyMuPDF 库解析表格。
_ingest_with_table_transformers: 使用 Table Transformer 模型解析表格。
_ingest_with_unitable: 使用 Unitable 模型解析表格。
ingest: 根据 parsing_args 选择不同的解析算法并调用相应的函数。
3. 代码逻辑:
ingest 函数是主要的入口点，它根据传入的 parsing_args 选择不同的解析算法。
每个解析函数都会将 PDF 文档转换为图片，并使用相应的算法识别表格区域和内容。
解析后的表格内容会被转换为指定的格式（字符串、Markdown 或 HTML），并以 TableElement 对象的形式返回。
4. 技术细节:
代码使用了 Pydantic 库进行数据验证和类型提示。
Table Transformer 和 Unitable 模型需要安装额外的依赖库，如 torch、torchvision 和 transformers。
代码使用了 PyMuPDF 库进行 PDF 处理和图像转换。
Open parse提供了三种不同的方法来从 PDF 文档中提取表格内容,分别基于 PyMuPDF、Table Transformer 和 Unitable 模型。用户可以根据需求选择合适的解析算法和输出格式。
表格解析：openparse/pdf.py
这个 Python 代码文件定义了 Pdf 类，用于处理 PDF 文件。它结合了 pypdf 和 pdfminer.six 库的功能，并提供了以下功能：
1. PDF 文件操作:
读取 PDF 文件。
保存修改后的 PDF 文件。
提取指定页面范围的 PDF 内容。
将 PDF 转换为 PyMuPDF (fitz) 文档对象。
2. PDF 页面布局分析:
使用 pdfminer.six 提取页面布局信息，包括文本块、图片等元素的位置和大小。
3. 可视化和标注:
在 PDF 页面上绘制边界框，以便直观地显示元素的位置。
支持使用 IPython 显示标注后的 PDF 页面。
可以将标注后的 PDF 导出到文件。
4. 主要类和函数:
Pdf: 主要的类，封装了 PDF 文件操作和布局分析功能。
_BboxWithColor: 用于存储边界框和颜色信息的辅助类。
_random_color: 生成随机颜色的函数。
_prepare_bboxes_for_drawing: 将边界框列表转换为 _BboxWithColor 对象列表的函数。
extract_layout_pages: 使用 pdfminer.six 提取页面布局信息的函数。
save: 保存 PDF 文件的函数。
extract_pages: 提取指定页面范围的函数。
to_pymupdf_doc: 将 PDF 转换为 PyMuPDF 文档对象的函数。
_draw_bboxes: 在 PDF 页面上绘制边界框的函数。
display_with_bboxes: 使用 IPython 显示标注后的 PDF 页面的函数。
export_with_bboxes: 将标注后的 PDF 导出到文件的函数。
_flip_coordinates: 转换坐标系的函数。
5. 代码逻辑:
Pdf 类初始化时，会读取 PDF 文件并创建 PdfReader 和 PdfWriter 对象。
extract_layout_pages 函数使用 pdfminer.six 提取页面布局信息。
display_with_bboxes 和 export_with_bboxes 函数使用 _draw_bboxes 函数在 PDF 页面上绘制边界框，并使用 PyMuPDF 库进行可视化和导出。
6. 技术细节:
代码使用了 pypdf 库进行 PDF 文件操作。
使用了 pdfminer.six 库进行页面布局分析。
使用了 PyMuPDF (fitz) 库进行可视化和导出。
使用了 IPython 库进行交互式显示。
Open-Parse 的安装和使用
Open-Parse 安装
核心库安装
pip install openparse启用OCR支持
要启用OCR功能，需要先安装Tesseract OCR，并通过设置TESSDATA_PREFIX环境变量来指定Tesseract语言数据包的路径。
安装机器学习表格检测模型
如需使用高精度的表格检测功能，需要额外安装Table Transformer模型：
pip install "openparse[ml]"openparse-download
基本用例
使用Open Parse非常简单，只需几行代码即可：
import openparsedoc_path = "./sample-docs/doc.pdf"parser = openparse.DocumentParser()parsed_doc = parser.parse(doc_path)for node in parsed_doc.nodes:print(node)
语义分块处理
如果需要根据语义对节点进行分组，可以添加语义处理管道：
from openparse import processing, DocumentParsersemantic_pipeline = processing.SemanticIngestionPipeline(openai_api_key=OPENAI_API_KEY,model="text-embedding-ada-002",min_tokens=64,max_tokens=1024,)parser = DocumentParser(processing_pipeline=semantic_pipeline)parsed_content = parser.parse(doc_path)
Open Parse提供了详细的Cookbooks教程，帮助用户快速上手：
https://github.com/Filimoa/open-parse/tree/main/src/cookbooks
官方文档则覆盖了更多高级用法：
https://filimoa.github.io/open-parse/
Open-Parse 是一个具有潜力的开源项目，未来将会支持更多文档格式和功能，例如：
支持更多语言的文档解析，满足不同地区和领域的需求。
支持更复杂的文档结构，例如嵌套表格，提升解析能力和适用范围。
提供更强大的语义处理功能，例如命名实体识别、关系抽取等，为下游任务提供更丰富的信息。
Open Parse作为一个功能丰富的文档分块工具，可以极大地提高复杂文档处理的效率，并为构建高质量的AI应用提供有力支持。
