1. 简介
Markitdown 除了支持转换微软自家的 Office 文件格式,其他常见的 PDF、HTML 格式都可以处理,甚至还能够处理 Audio 文件,自动转译为文本。图像类的文件,可以配置大模型自动生成描述文本。
PDF PowerPoint Word Excel Images Audio HTML 各种其他基于文本的格式 (csv, json, xml, etc.) ZIP files (iterates over contents)
介绍完毕,开始测试
2. 安装
安装很简单,执行如下命令即可。
pip install markitdown
3. 简单使用
使用起来也很简单,使用命令或者 API。
命令
markitdown path-to-file.pdf > document.md
API
from markitdown import MarkItDown
from openai import OpenAI
client = OpenAI()
md = MarkItDown(llm_client=client, llm_model="gpt-4o")
result = md.convert("exmaple.pdf")
print(result.text_content)
4. 测试 PDF
我最关注的还是 PDF 文本的转换,之前的测评文章有讨论过 PDF 解析主要是表格和布局的问题,文本提取基本问题不大。那么 markitdown 的表格提取表现如何?我们尝试转换 LightRAG 的论文。
markitdown lightrag.pdf > lightrag.md
原文表格
LightRAG 里有一个复杂表格,这里就不演示了,使用最简单的表格。
提取后表格
可以说完全丢弃 Style,连表格的样式都没有,最重要的是文字的顺序也没有排对。为什么这么差?这和 markitdown 的实现有关,让我们扒一扒咋实现的
5. 一探深浅
markitdown 的代码非常少,核心代码就两个文件:入口文件__main__.py和具体实现__markitdown.py。 入口代码很简单,就是接收文件然后调用 convert。
parser.add_argument("filename", nargs="?") args = parser.parse_args() if args.filename is None: markitdown = MarkItDown() result = markitdown.convert_stream(sys.stdin.buffer) print(result.text_content) else: markitdown = MarkItDown() result = markitdown.convert(args.filename) print(result.text_content)markitdown 会根据文件的扩展名自动选择转换工具,让我们重点看一下 PDF 的转换器。
class PdfConverter(DocumentConverter):
"""
Converts PDFs to Markdown. Most style information is ignored, so the results are essentially plain-text.
"""
def convert(self, local_path, **kwargs) -> Union[None, DocumentConverterResult]:
# Bail if not a PDF
extension = kwargs.get("file_extension", "")
if extension.lower() != ".pdf":
return None
return DocumentConverterResult(
title=None,
text_content=pdfminer.high_level.extract_text(local_path),
)
是的,你没看错,它其实只是调用 pdfminer 来提取。所以这个工具的目的是集成开源工具包,统一 Markdown 文件转换。从两个文件的实现就知道了。所以对于 Markitdown 不要抱有它解析某某文件是不是更厉害?它只是一个 Wrapper 而不是 Parser。
