MinerU | 上海AI lab 开源的pdf内容提取工程

Magic-PDF 是一款将 PDF 转化为 markdown 格式的工具。支持转换本地文档或者位于支持S3协议对象存储上的文件。

Magic-PDF框架示意图

主要功能包含

• 支持多种前端模型输入

• 删除页眉、页脚、脚注、页码等元素

• 符合人类阅读顺序的排版格式

• 保留原文档的结构和格式，包括标题、段落、列表等

• 提取图像和表格并在markdown中展示

• 将公式转换成latex

• 乱码PDF自动识别并转换

• 支持cpu和gpu环境

• 支持windows/linux/mac平台

可以看到这里面最核心的部分是基于模型的解析模块：PDF-Extract-Kit

而根据官方链接介绍的PDF-Extract-Kit包括以下几个模块：

• 布局检测：使用LayoutLMv3模型进行区域检测，如图像，表格,标题,文本等，由于文档类型的多样性，现有开源的布局检测和公式检测很难处理多样性的PDF文档，为此作者团队采集多样性数据进行标注和训练，使得在各类文档上取得精准的检测效果；

• 公式检测：使用YOLOv8进行公式检测，包含行内公式和行间公式；

• 公式识别：使用UniMERNet进行公式识别，这个方法是上海AI lab前段时间开源的公式识别模型，作者自己说法是可以媲美商业软件，在各种类型公式识别上均匀很高的质量，实际体验效果确实不错，；

• 光学字符识别：使用PaddleOCR进行文本识别；

流程图如下：

PDF-Extract-Kit流程图

Magic-Doc

Magic-Doc 是一款支持将网页或多格式电子书转换为 markdown 格式的工具。

主要功能包含

• Web网页提取

• 跨模态精准解析图文、表格、公式信息

• 电子书文献提取

• 支持 epub，mobi等多格式文献，文本图片全适配

• 语言类型鉴定

• 支持176种语言的准确识别

点评

    这里只点评PDF文档解析相关部分，因为 Docx / Html / epub / mobi 转 markdown 是一个纯工程问题，不涉及算法识别，不做评论。

    根据上面PDF-Extract-Kit的流程图可知，本项目的流程与我之前写的PDF文档解析流程（突破大语言模型语料瓶颈：如何从专业PDF文件中挖掘高质量数据）有两个区别：

1. 版式布局检测标签不包含公式：而是用了一个单独的公式检测模型，用于检测行间公式和行内公式，注意：这里的公式有两个标签。正是因为公式有两种标签，导致后面需要复杂的后处理逻辑将基于PaddleOCR识别的行文本与行内公式识别结果拼接成正确的结果；
2. 没有阅读顺序模块：这也是导致这个开源工程严重依赖后处理模块的原因，看作者的框架图写到了阅读顺序（layout 顺序）模块正在开发中，说明他们也意识到了这个问题。没有阅读顺序的话，一方面需要通过各种规则后处理来得到输出顺序，另一方面文档版式非常复杂，可以想象一下报纸、杂志的版式，多栏混合排列，靠规则是无法解决这类文档的输出顺序的。