不论是在 RAG 应用，还是当下时髦的 Deep Research 应用中，多格式文件的解析始终是一大挑战，尤其是 PDF 文件，由于其复杂的结构和多样的排版方式，很多工具在解析时效果参差不齐。虽然市面上有不少 PDF 解析工具，但高质量且统一的解决方案却少之又少。之前我们已通过《破解 PDF 解析难题：RAG 中高效解析复杂 PDF 的最佳选择》和《微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？》详细评测过现有工具。markitdown[1] 虽然很好地解决了各类格式转换为 Markdown 的问题，但在 PDF 解析上仍显不足。
2024 年，一款全新的 PDF 解析工具 MinerU[2] 闪亮登场，在 GitHub 上已获得 27.7K 关注，迅速成为文档处理领域的明星。MinerU 是一款国产开源且功能强大的文档数据提取工具，专注于将 PDF 等复杂文档转换为机器可读的格式，非常适用于学术研究、技术写作和大模型训练等场景。然而，其采用的 AGPL v3 授权具有传染性，直接集成会迫使项目整体开源，这在商业项目中往往难以接受。
为了解决这一困局，我正式推出 Markify[3] —— 一款融合了微软 markitdown 和 MinerU 优势的工具。Markify 不仅能将 PDF、Word、PPT、Excel、图片、音频、网页、CSV、JSON、XML 甚至 ZIP 压缩包等多种文件统一转换为 Markdown 格式，还借助 MinerU 实现了高效准确的 PDF 解析，并通过开发 HTTP 服务巧妙绕开 AGPL 传染问题，从而无缝集成于各类项目中。
本文首先介绍 Markify 的功能与转换效果展示，然后说明其如何与 LlamaIndex 无缝接入，最后提供快速安装和测试的指导。
1. Markify 简介
Markify 为多种文件格式提供统一解析框架，特别是在 PDF 解析上拥有三种模式以满足不同场景的需求：
快速模式（simple） 基于pdfminer（markitdown 内置的 pdf 解析器），专注于高效文本提取，适合对文本要求较低的场景。
高级模式（advanced） 结合 MinerU 的深度解析，不仅能精准提取文本，还能识别并转换复杂表格和图像，还将图像自动转换为 Markdown 中的网络引用形式。
云端模式（cloud） 正在研发中，未来将为用户提供更多云端解析能力。
2. 转换效果展示
左侧为PDF原文，右侧为转换后markdown预览。
2.1 整体转换效果
在对最近热门论文PIKE-RAG[4]进行转换时，Markify 对文本内容提取精准，整体排版清晰易读。
2.2 表格提取效果
对于文中的复杂表格，Markify 能够准确识别并转换为 Markdown 表格，展示效果极佳。
2.3 图像提取效果
在图像转换方面，Markify 将图像上传至服务器并嵌入 Markdown 中，使得图文混排效果更为直观美观。
这些案例充分展示了 Markify 在 PDF 解析上的卓越表现，无论是文本、表格还是图像，都能高质量地转换为 Markdown 格式，为后续的模型处理提供了坚实基础。
3. 与LlamaIndex无缝集成
为了进一步简化大模型的数据预处理工作，Markify 同时支持与 LlamaIndex 的集成。LlamaIndex 定义了 BaseReader 接口，用户只需实现该接口即可自定义文件解析器。下面的示例展示了如何利用自定义的 MyFileLoader，通过 Markify API 将 PDF 文件加载到 LlamaIndex 中，就像使用 LlamaParse 一样：
class MyFileLoader(BaseReader):
def __init__(self, conversion_service_url, poll_interval=5, timeout=300, mode='advanced'):
...
self.service_url = conversion_service_url.rstrip('/')
self.poll_interval = poll_interval
self.timeout = timeout
self.mode = mode
……
在实际使用时，只需指定.pdf文件由 MyFileLoader 进行处理即可，其他格式的文件也可通过 makify 处理：
pdf_loader = MyFileLoader(
conversion_service_url=settings.markify_api_base,
poll_interval=5,
timeout=settings.markify_api_timeout
)
documents = SimpleDirectoryReader(input_files=[file_path], file_extractor={
".pdf": pdf_loader,
}).load_data()
通过这种方式，Markify实现了与 LlamaIndex的无缝接入，就像LlamaParser一样高效稳定。完整的 MyFileLoader 实现我放在评论区了，欢迎有兴趣的同学加入了解更多细节。
4. 安装与使用指南
为了帮助大家更方便地集成 Markify，我们提供了基于 FastAPI 的 HTTP API 服务，客户端通过 HTTP 调用即可绕过 AGPL 传染，内部项目也无需开源。
4. 1 安装
首先克隆源码：
git clone https://github.com/KylinMountain/markify
进入项目目录，并安装依赖：
cd markify
conda create --name markify python=3.10
pip install -r requirements.txt
4.2 启动 API 服务
首次启动时，Markify 会自动从 ModelScope 下载 MinerU 的模型文件（若下载较慢，可设置环境变量 MINERU_USE_MODELSCOPE=false 切换至 HuggingFace 下载）：
uvicorn main:app --reload --port 20926
启动后，即可通过浏览器访问http://localhost:20926/docs查看 API 文档，支持上传文档、查询任务状态和下载文件。
4.3 启动 Streamlit 客户端
执行以下命令启动 Streamlit 客户端，浏览器访问http://localhost:8501/即可简单快捷开始转换转换文件：
streamlit run ./client/streamlit_client.p
在 Streamlit 客户端中，选择 PDF 处理模式即可选择上述 3 种模式，右侧显示转换列表，完成即可自行下载转换好的 markdown 文档。
5. 总结
Markify 通过整合 Markitdown 与 MinerU 的优势，提供了一个统一、高质量的文件解析解决方案，尤其在 PDF 解析中表现尤为出色。无论是文本、表格还是图像的提取，Markify 都能满足各种场景的需求。此外，基于 FastAPI 开发的 API 服务设计，使得用户能以 HTTP 调用的方式集成到现有项目中，轻松规避 AGPL 传染问题，并实现与 LlamaIndex 等大模型的无缝对接。
总之，Markify 为 RAG 应用及文档预处理带来了全新的解决思路和更高的解析效率，期待你也来体验和开发这款开源利器，为开源添砖加瓦！
