MinerU 是一款由上海人工智能实验室OpenDataLab团队发布的全能、开源的文档与网页数据提取工具。它能够将包含图片、表格、公式等元素的多模态PDF文档转化为清晰、易于分析的Markdown格式，同时也支持从包含广告等干扰信息的网页中快速解析、抽取正式内容，并将其批量转化为Markdown格式。
CPU Demo
# 1. 安装依赖conda create -n MinerU python=3.10conda activate MinerUpip install -U magic-pdf[full] --extra-index-url https://wheels.myhloli.com -i https://pypi.tuna.tsinghua.edu.cn/simple# 2. 下载模型权重文件# 根据官方文档（https://github.com/opendatalab/MinerU/blob/master/docs/how_to_download_models_en.md）指示操作# 3. 配置Magic-PDFcp magic-pdf.template.json ~/magic-pdf.json# 编辑 ~/magic-pdf.json，设置正确的模型文件路径# 4. 开始使用magic-pdf --helpmagic-pdf -p {some_pdf} -o {some_output_dir} -m auto
# 检查您的设备是否支持Docker上的CUDA加速。docker run --rm --gpus=all nvidia/cuda:12.1.0-base-ubuntu22.04 nvidia-smi# 运行 docker 部署wget https://github.com/opendatalab/MinerU/raw/master/Dockerfiledocker build -t mineru:latest .docker run --rm -it --gpus=all mineru:latest /bin/bashmagic-pdf --help
更多使用方式，请查阅如下提供地址
总结MinerU 是一款强大且多功能的数据提取工具，它能够帮助用户从各种文档中提取高质量的数据，特别适合于AI研究和大数据模型训练。尽管存在一些局限性，但其开源特性和持续的社区支持使其成为一个值得关注和尝试的工具。