在我们日常的工作和学习中，PDF文件随处可见。然而，PDF文件的编辑和内容提取却不那么方便。很多时候，我们希望把PDF中的内容提取出来，转成Markdown格式，以便于编辑和发布。但这个过程通常很麻烦，需要手动复制粘贴，还要重新调整格式，简直是浪费时间和生命。
今天开源君介绍的这个项目就是为了解决这个问题- Marker，可以让PDF转Markdown变得简单高效。
项目简介
marker是一个基于深度学习模型的工具，能够快速且准确地将PDF文档转换成Markdown格式，不仅能保留PDF中的文本、图片和表格，还能尽量保持原有的排版结构。支持多种文档类型，尤其对书籍和科学论文进行了优化，并且支持多种语言。
Marker的转换流程：
文本提取：首先，Marker使用OCR技术（如果需要）来提取PDF中的文本。这可能涉及到启发式方法或使用如Surya和Tesseract等OCR工具。 页面布局检测：Marker通过Surya等工具检测页面布局，确定阅读顺序，这对于保持文档结构至关重要。 文本块清理与格式化：对于每个文本块，Marker使用启发式方法和Texify等工具进行清理和格式化，以确保文本的准确性和可读性。 块组合与后处理：最后，Marker将所有文本块组合起来，并使用后处理工具（如pdf_postprocessor）进行最终的文本整理，以提高输出质量。 模型的智能使用：Marker只在必要时使用深度学习模型，这有助于提高转换速度和准确性。
marker的出现，为那些需要频繁处理PDF和Markdown的开发者、写作者和研究人员提供了极大的便利。
下图是 marker 和 nougat 的对比测试结果
目前在Github上面收获了12.5K star！
性能特色
广泛的文档支持：无论是书籍、论文还是其他类型的文档，marker都能处理得游刃有余。 多语言支持：全球用户都能使用，真正的国际化工具。 自动去除干扰元素：自动删除页眉、页脚和其他非内容元素，让转换结果更加纯净。 表格和代码块格式化：保持原有排版，转换后的Markdown文档看起来依旧美观。 图像提取：PDF中的图像也能一并提取并保存，不会丢失任何信息。 方程式转换：大多数方程式可以转换为LaTeX格式，这对于科学论文来说尤其重要。
快速使用
使用marker非常简单，首先你需要安装Python 3.9+和PyTorch。然后通过以下命令安装marker：
pip install marker-pdf
接下来，你可以通过以下命令快速转换单个PDF文件：
marker_single /path/to/file.pdf /path/to/output/folder --batch_multiplier 2 --max_pages 10 --langs English
如果你想转换多个文件，可以使用：
marker /path/to/input/folder /path/to/output/folder --workers 10 --max 10 --metadata_file /path/to/metadata.json --min_length 10000
项目体验展示
marker的转换效果如何呢？官方提供了部分例子，展示其对生产可用的复杂 PDF 转为 Markdown 的示例，如下图
可以看到，marker在对大段文字，公式，表格上面的处理相比以往的工具来说，还是进步了不少。
尽管Marker在转换PDF到Markdown方面表现出色，但它也有一些局限性：
方程式转换：Marker可能无法将100%的方程式转换为LaTeX格式，因为需要先检测再转换，这个过程可能会遇到识别上的挑战。 表格格式化：表格的格式化可能不会总是100%正确，有时文本可能会被放置在错误的列中。 空白和缩进：在转换过程中，原始文档的空白和缩进可能不会被完全保留。 行/跨度合并：不是所有的行或跨度都能被正确合并，这可能会影响Markdown文档的布局。 OCR限制：对于需要大量OCR处理的PDF文档，Marker可能不是最佳选择，因为它主要优化了速度，并且有限的OCR被用于修正错误。 特定格式的PDF：对于某些特定格式的PDF文档，如那些包含大量图像或复杂版式的文档，Marker可能无法完美转换。
总的来说，Marker是一个非常实用的开源工具，解决了我们在PDF转Markdown过程中的很多痛点。它不仅高效快速，而且操作简单，格式保持得也很好。感兴趣的可以去试试。
