论文研究：想要提取PDF中的表格数据做分析，结果格式全乱
工作汇报：需要将扫描文档转成可编辑文本，OCR效果糟糕
数据处理：有大量PDF报告需要数字化，人工录入效率太低
预告：在AI数据治理的浪潮中，文档解析这个"基础工程"正成为制约智能升级的关键瓶颈。PDF文档中蕴藏着海量价值数据，却因布局复杂（多栏排版、混合内容）、元素多样（文本、公式、表格、图表）而难以被有效提取。更棘手的是，不同领域的文档有其独特的结构特征，使得通用模型难以应对。本文将深入解析字节跳动最新开源的Dolphin模型，看它能否通过创新的"结构化解构"方法，突破这一困扰业界的难题，为数据治理带来变化，先看理论再来实战体验。
引言：被忽视的AI基础工作
数据治理：AI时代被低估的核心竞争力
在人工智能的宏大叙事中，我们往往被模型参数的规模、推理能力的提升所吸引，却忽略了一个更为根本的问题：数据质量决定智能上限。无论是训练下一代基础模型，还是构建企业级RAG系统，高质量、结构化的数据都是不可替代的基石。
然而，现实世界中约80%的有价值信息都被"囚禁"在非结构化文档中——PDF学术论文、企业报告、技术文档、医疗记录。这些"沉睡的数据资产"如同被锁在保险柜中的黄金，等待着被解放的钥匙。
文档解析：看似简单却极其复杂的挑战
文档解析表面上看似直观——将图像转换为可编辑文本。但深入分析后发现，这是一个涉及计算机视觉、自然语言处理、布局分析、结构理解的多维度挑战：
视觉复杂性：从手写笔记到精美排版，从单栏文本到多栏布局 内容异构性：文本、表格、公式、图表、化学结构式的混合出现 结构层次性：标题、段落、列表、脚注的层次关系 语言多样性：多语言混排、专业术语、数学符号 质量差异性：扫描质量、拍照角度、光照条件的不一致
这些挑战使得文档解析成为AI应用落地的"最后一公里"难题。
技术现状：两条路径的困局与突破
传统路径一：集成式专家系统的"拼图困局"
当前主流的商业解决方案（如Mathpix、TextIn、MinerU）采用"多专家模型级联"的策略：
graph LR
A[原始文档] --> B[布局检测]
B --> C[元素分类]
C --> D[表格识别器]
C --> E[公式识别器]
C --> F[文本OCR]
D --> G[结果整合]
E --> G
F --> G
G --> H[最终输出]
优势：每个专家模型在特定任务上精度较高致命弱点：
错误累积效应：前一阶段的错误会被放大传递 系统复杂度高：需要维护多个模型和复杂的协调机制 结构丢失风险：在模型间传递过程中容易丢失全局结构信息 效率瓶颈：串行处理导致延迟累积
传统路径二：端到端自回归的"效率悖论"
以GPT-4V、Claude、Gemini为代表的通用视觉语言模型采用"一步到位"策略：
graph LR
A[文档图像] --> B[VLM模型]
B --> C[自回归生成]
C --> D[完整文档文本]
优势：架构简洁，能够利用大模型的泛化能力核心问题：
效率困境：自回归解码的串行特性导致处理速度慢 结构丢失：长序列生成过程中容易丢失布局信息 资源消耗：需要大规模模型才能达到可用精度 控制困难：难以精确控制输出格式和结构
而Dophin的两者结合策略，取得了不错的进展，先看结果。
? 可以看出：
Dolphin模型以322M的轻量级参数量，在所有评测指标上都取得了最优性能，在简单文档（Plain Doc）上的编辑距离仅为0.0114-0.0131，在复杂文档（Complex Doc）上为0.1028，显著优于GPT-4、Claude等大型通用模型。
处理效率方面，Dolphin达到0.1729 FPS，比第二名Mathpix（0.0944 FPS）快近2倍，证明了其"先解析结构后解析内容"的并行处理架构在效率上的巨大优势。
相比动辄数千亿参数的通用VLM和复杂的集成式方案，Dolphin在保持轻量化的同时实现了专业文档解析的最佳效果，体现了针对性优化和架构创新的重要价值。
Dolphin如何实现的呢两阶段的"智能解构"
论文已被收录于ACL 2025
架构："视觉"和"理解"的融合
Dolphin的突破性创新在于引入了"分析-再解析"（Analyze-then-Parse）范式，这不仅是技术优化，更是AI系统处理复杂结构化信息的范式转变。
人类阅读文档的认知过程：首先快速浏览获得整体布局感知，然后聚焦于特定区域进行详细理解。Dolphin的模型就体现了这个"思想"。
技术架构：优雅的两阶段设计
第一阶段：全局结构感知（Layout Analysis）
# 伪代码示例
def stage1_layout_analysis(document_image):
visual_features = swin_transformer(document_image)
layout_prompt = "Parse the reading order of this document."
layout_sequence = mbart_decoder(visual_features, layout_prompt)
return structured_elements # [(type, bbox, reading_order), ...]
核心能力：
建立全局空间-语义映射 识别元素类型和边界 确定自然阅读顺序 生成结构化"锚点"，这个锚点可以理解为"公式块"，"表格块"等
第二阶段：并行内容解析（Parallel Content Parsing）
# 伪代码示例
def stage2_content_parsing(document_image, layout_elements):
results = []
for element in layout_elements:
cropped_region = crop_image(document_image, element.bbox)
task_prompt = get_prompt_by_type(element.type)
content = mbart_decoder(cropped_region, task_prompt)
results.append((element, content))
return parallel_process(results) # 并行处理
核心优势：
空间注意力聚焦：每个元素获得专注的处理 任务特定优化：不同类型元素使用专门的提示词 并行计算效率：突破串行处理的效率瓶颈 结构保持能力：锚点机制确保布局完整性
创新的本质：信息处理范式的升维
Dolphin的创新可以从信息论角度理解：
传统方法：信息处理是一个降维过程
二维视觉信息 → 一维文本序列 结构信息在降维过程中不可避免地丢失
Dolphin方法：信息处理是一个升维过程
二维视觉信息 → 三维结构化表示（空间+语义+顺序） 在高维空间中保持结构完整性，再投影到目标格式
深度技术解析：架构设计的巧思
共享编解码器架构：参数效率的艺术
Dolphin的一个关键设计是在两个阶段使用相同的编解码器架构（Swin Transformer + mBart），仅通过提示词差异化实现功能分化：
设计哲学：
参数共享：322M参数实现多任务能力 知识迁移：布局分析的空间理解能力迁移到内容解析 统一表示：相同的特征空间便于端到端优化
提示工程：任务特化的精妙设计
Dolphin通过精心设计的提示词实现任务特化：
# 示例提示词设计
PROMPTS = {
"layout": "Parse the reading order of this document.",
"table": "Extract table structure and content in HTML format.",
"paragraph": "Extract text content preserving structure.",
"formula": "Convert mathematical formula to LaTeX format."
}
这种设计体现了"软件定义硬件"的思想：相同的神经网络"硬件"通过不同的"软件"（提示词）实现功能分化。
并行处理：计算效率的革命性提升
传统自回归方法的时间复杂度：**O(n·L)（n为元素数量，L为序列长度） Dolphin方法的时间复杂度：O(L + n)**（并行处理n个元素）
在包含16个元素的典型文档页面上，理论加速比可达8-16倍。
整体的流程图
第一阶段（stage1）—文档布局解析：按照自然阅读顺序生成文档元素序列，即每个文档元素的类别及其坐标。这里的文档元素值得是标题、图表、表格、脚注等。
第二阶段—元素（stage2）内容解析：使用这些元素作为"锚点"，配合特定提示词实现并行内容识别，从而完成整页文档的内容提取。
注意：整个stage1，stage2，都用了同一个模型架构Swin Transformer和Decoder，他们唯一的不同是"Prompt"不同。
案例展示
图1：Dolphin解析流程示例
图中展示了Dolphin的三阶段处理结果：
布局识别（左）：准确定位文档中的各类元素 元素解析（中）：并行处理每个元素的具体内容 结果整合（右）：将解析结果按原始布局重组
图2：更多案例
实验验证：严谨的科学评估
基准测试：全面超越现有方案
页面级文档解析性能对比
| 类别 | 方法 | 模型大小 | 简单文档-英文 | 简单文档-中文 | 复杂文档 | 平均ED | FPS |
|---|---|---|---|---|---|---|---|
| 集成式方法 | |||||||
| 专业VLM | |||||||
| 通用VLM | |||||||
| 本文方法 | ?Dolphin | 322M | ?0.0114 | ?0.0131 | ?0.1028 | ?0.0575 | ?0.1729 |
表格说明：
**ED (编辑距离)**：数值越低越好 ↓ **FPS (每秒帧数)**：数值越高越好 ↑ ? 表示最佳性能 ? 表示第二佳性能 ***标记的结果引用自GOT论文报告
数据集说明：
Fox-Page-EN/ZH：简单文档（仅包含文本内容）的英文/中文测试集 Dolphin-Page：复杂文档（包含表格、公式、图表等混合元素）测试集
元素级解析性能总结
| 文本段落 | |||
| 公式识别 | |||
| 表格解析 | |||
可以看出：
精度突破：在所有测试场景中均达到最佳性能，特别是在中文文档处理上相比GPT-4.1提升95% 效率革命：处理速度达到0.1729 FPS，比最快的商业方案Mathpix(0.0944 FPS)提升83% 资源优化：仅使用322M参数，比GPT-4V(约1800B)小5600倍，性能却显著超越
消融实验：设计选择的科学验证
1. 并行解码 vs 串行解码
效率飞跃：1.8倍速度提升（0.1729 vs 0.0971 FPS），精度无损失 瓶颈识别：受限于预处理开销和GPU内存约束（最大16元素/批次） 设计哲学：空间并行突破时间串行，体现"锚点解耦"的核心价值
2. 类型特定提示 vs 通用提示
精度提升：专用提示显著优于通用提示（0.1283 vs 0.1613 ED） 错误案例：通用提示将表格误识别为LaTeX公式 知识注入：先验知识通过提示工程有效指导模型行为
3. 元素裁剪 vs 框查询
聚焦原则：裁剪策略优于框查询，遵循"所见即所得" 任务简化：避免位置理解与内容识别的双重复杂性 认知负荷：降低模型同时处理多任务的认知压力
? 小结
Dolphin的消融实验揭示了AI系统设计的核心哲学：通过"任务解耦、知识注入、视觉聚焦"三位一体的策略，将复杂问题分解为简单子问题，让模型在清晰的约束条件下发挥最大效能。
这体现了优秀AI系统的设计原则：不是让模型变得更复杂来处理复杂任务，而是通过智能的任务分解和精准的信息引导，让模型在简化的子任务上达到最优表现。
训练数据：精髓部分
这是Dolphin模型3000万样本训练数据的详细构成表，
展现了其独特的数据理念。
? 简单分析：
双粒度数据架构：Dolphin采用"页面级+元素级"的双层数据设计，页面级数据（5.7M）用于布局分析训练，元素级数据（24.57M）专门用于内容解析训练，完美匹配其两阶段解析架构。
大规模合成数据策略：通过HTML渲染、LaTeX Rainbow、Pandoc等工具链，将结构化源码（HTML/LaTeX/Markdown）渲染成图像并自动生成标注，其中公式数据占比高达76%（23M/30.27M），体现了对复杂元素解析能力的重点强化。
多层次精细标注：从字符级到段落级的层次化标注，结合多样化的数据源（学术论文、教育材料、商业文档）和丰富的视觉增强策略，确保模型在不同场景下的泛化能力和鲁棒性。
这种"结构化源码→渲染→自动标注"的数据生产模式，既保证了标注质量，又实现了大规模数据获取，是AI数据工程的典型范例。
数据理念：
"与其追求更多的数据，不如追求更好的数据多样性和更高的质量。"
实战验证：真实场景的性能考察
作者没有用在线的demo，直接下载了模型和程序来执行识别，以防不一致。
下面通过几个实际案例，直观展示Dolphin的文档解析能力：
案例1：学术论文解析的精准度
以LLaMA论文首页为测试案例，Dolphin展现了近乎完美的解析能力：
原始图像：
识别结果解析后的json和markdown：
[
{
"label": "title",
"bbox": [
271,
188,
1194,
221
],
"text": "LLaMA: Open and Efficient Foundation Language Models",
"reading_order": 0
},
{
"label": "author",
"bbox": [
313,
289,
1154,
317
],
"text": "Hugo Touvron; Thibaut Lavril; Gautier Izacard; Xavier Martinet",
"reading_order": 1
},
{
"label": "para",
"bbox": [
269,
317,
1201,
425
],
"text": "Marie-Anne Lachaux, Timothee Lacroix, Baptiste Rozière, Naman Goyal\nEric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin\nEdouard Grave*Guillaume Lample*",
"reading_order": 2
},
{
"label": "para",
"bbox": [
685,
440,
795,
482
],
"text": "Meta AI",
"reading_order": 3
},
{
"label": "sec",
"bbox": [
376,
524,
502,
565
],
"text": "\\begin{abstract}",
"reading_order": 4
},
{
"label": "para",
"bbox": [
209,
586,
675,
946
],
"text": "We introduce LLaMA, a collection of founda-\ntion language models ranging from 7B to 65B\nparameters. We train our models on trillions\nof tokens, and show that it is possible to train\nstate-of-the-art models using publicly avail-\nable datasets exclusively, without resorting\nto proprietary and inaccessible datasets. In\nparticular, LLaMA-13B outperforms GPT-3\n(175B) on most benchmarks, and LLaMA-\n65B is competitive with the best models,\nChinchilla-70B and PaLM-540B. We release\nall our models to the research community $^1$ .",
"reading_order": 5
},
{
"label": "sec",
"bbox": [
167,
978,
376,
1006
],
"text": "1 Introduction",
"reading_order": 6
},
{
"label": "para",
"bbox": [
167,
1027,
718,
1498
],
"text": "Large Languages Models (LLMs) trained on mas-\nsive corpora of texts have shown their ability to per-\nform new tasks from textual instructions or from a\nfew examples ( Brown et al. , 2020 ) . These few-shot\nproperties first appeared when scaling models to a\nsufficient size ( Kaplan et al. , 2020 ) , resulting in a\nline of work that focuses on further scaling these\nmodels ( Chowdhery et al. , 2022 ; Rae et al. , 2021 ) .\nThese efforts are based on the assumption that\nmore parameters will lead to better performance.\nHowever, recent work from Hoffmann et al. ( 2022 )\nshows that, for a given compute budget, the best\nperformances are not achieved by the largest mod-\nels, but by smaller models trained on more data.",
"reading_order": 7
},
{
"label": "para",
"bbox": [
167,
1506,
717,
1844
],
"text": "The objective of the scaling laws from Hoff-\nmann et al. ( 2022 ) is to determine how to best\nscale the dataset and model sizes for a particular\ntraining compute budget. However, this objective\ndisregards the inference budget, which becomes\ncritical when serving a language model at scale.\nIn this context, given a target level of performance,\nthe preferred model is not the fastest to train but the\nfastest at inference, and although it may be cheaper\nto train a large model to reach a certain level of",
"reading_order": 8
},
{
"label": "para",
"bbox": [
753,
539,
1304,
734
],
"text": "performance, a smaller one trained longer will\nultimately be cheaper at inference. For instance,\nalthough Hoffmann et al. ( 2022 ) recommends\ntraining a 10B model on 200B tokens, we find\nthat the performance of a 7B model continues to\nimprove even after 1T tokens.",
"reading_order": 9
},
{
"label": "para",
"bbox": [
753,
769,
1305,
1236
],
"text": "The focus of this work is to train a series of\nlanguage models that achieve the best possible per-\nformance at various inference budgets, by training\non more tokens than what is typically used. The\nresulting models, called LLaMA , ranges from 7B\nto 65B parameters with competitive performance\ncompared to the best existing LLMs. For instance,\nLLaMA-13B outperforms GPT-3 on most bench-\nmarks, despite being 10 $\\times$ smaller. We believe that\nthis model will help democratize the access and\nstudy of LLMs, since it can be run on a single GPU.\nAt the higher-end of the scale, our 65B-parameter\nmodel is also competitive with the best large lan-\nguage models such as Chinchilla or PaLM-540B.",
"reading_order": 10
},
{
"label": "para",
"bbox": [
753,
1257,
1305,
1601
],
"text": "Unlike Chinchilla, PaLM, or GPT-3, we only\nuse publicly available data, making our work com-\npatible with open-sourcing, while most existing\nmodels rely on data which is either not publicly\navailable or undocumented (e.g. " Books – 2TB " or\n" Social media conversations " ). There exist some\nexceptions, notably OPT ( Zhang et al. , 2022 ) ,\nGPT-NeoX ( Black et al. , 2022 ) , BLOOM ( Scao\net al. , 2022 ) and GLM ( Zeng et al. , 2022 ) , but none\nthat are competitive with PaLM-62B or Chinchilla.",
"reading_order": 11
},
{
"label": "para",
"bbox": [
753,
1634,
1304,
1933
],
"text": "In the rest of this paper, we present an overview\nof the modifications we made to the transformer\narchitecture ( Vaswani et al. , 2017 ) , as well as our\ntraining method. We then report the performance of\nour models and compare with others LLMs on a set\nof standard benchmarks. Finally, we expose some\nof the biases and toxicity encoded in our models,\nusing some of the most recent benchmarks from\nthe responsible AI community.",
"reading_order": 12
},
{
"label": "fnote",
"bbox": [
167,
1844,
712,
1907
],
"text": "* Equal contribution. Correspondence: {htouvron\nthibautlav,gizacard,egrave,glample}@meta.com",
"reading_order": 13
},
{
"label": "fnote",
"bbox": [
209,
1907,
632,
1931
],
"text": "https://github.com/facebookresearch/llama",
"reading_order": 14
},
{
"label": "watermark",
"bbox": [
20,
649,
83,
1530
],
"text": "arXiv:2302.13971v1 [cs.CL] 27 Feb 2023",
"reading_order": 15
}
]
解析结果亮点：
✅ 标题、作者、摘要完整识别 ✅ 多栏布局精确处理 ✅ 脚注、水印正确定位 ✅ 阅读顺序逻辑清晰 ⚠️ 仅有一处作者标签的轻微瑕疵
精度评估：结构化元素识别准确率 >90%
案例2：中文医学文档的挑战
技术难点：
中文排版的复杂性 医学专业术语 多层次标题结构 段落间的逻辑关系
解析表现：
✅ 中文段落完整保持 ✅ 医学术语准确识别 ✅ 层次结构清晰还原 ✅ 专业符号正确处理
案例3：复杂表格的结构保持
dolphin识别结果
dolphin识别的结果整体非常不错，而且后面红的单元格也没有乱，上次用smolDoling就翻车了（看来字节的开源，还是真实力，点赞）
gemini-2.5 pro识别结果
Gemini-2.5 Pro的表现令人深思。在原图中，我们无意之间有个错误标记<10c_252>（本应为<loc_252>），但AI不仅完成了OCR识别，还"自作主张"地纠正了这个错误。 Gemini-2.5 Pro在测试中展现的"智能纠错"能力引发了深刻的思考：
伦理视角：当AI开始"理解"并"修正"人类意图时，这意味着什么
核心问题：我们需要的是绝对忠实的工具，还是具有判断力的伙伴
Dolphin vs Gemini-2.5 Pro对比：
*注：Gemini对原图中的标记错误"<10c_252>"主动纠正为"<loc_252>"，体现了不同的AI哲学。
技术影响与产业价值
数据治理领域的范式转变
Dolphin的成功将推动数据治理领域的根本性变革：
传统范式：数据清洗 → 格式转换 → 结构化存储
新兴范式：智能解析 → 结构保持 → 语义增强
垂直行业的应用前景
学术出版：
自动化论文排版和格式转换 多语言学术文档的标准化 知识图谱的自动构建
法律服务：
合同文档的智能解析 法条引用的自动提取 案例库的结构化治理
医疗健康：
病历文档的标准化 医学图像报告的解析 临床数据的质量提升
金融服务：
财报数据的自动提取 风险文档的智能分析 监管报告的合规处理
技术生态的连锁反应
Dolphin的开源将触发AI生态的连锁反应：
降低应用门槛：中小企业也能部署高质量文档解析服务 促进创新融合：与RAG、知识图谱等技术的深度结合 推动标准制定：为文档解析领域建立新的技术标准 催生新型应用：基于高质量结构化数据的创新应用
最后的思考
Dolphin触及了文档解析领域的根本矛盾：整体性与部分性的张力。
传统第一条路径：过度"解构"，将文档肢解为独立的OCR任务，虽然每个部分精确，但失去了整体的有机联系 传统第二条路径：过度"整体化"，端到端自回归虽然保持统一性，但在复杂结构面前力不从心
Dolphin的突破：实现了"结构化解构"——既保持整体的结构感知，又实现部分的独立处理。这是黑格尔式的"否定之否定"：否定了纯粹分解，也否定了纯粹整合，在更高层次上统一了两者。
1. 时间维度：从串行到并行的效率革命
传统自回归是线性时间观，Dolphin的并行解析体现了空间化时间观——通过锚点将时间序列转化为空间并行处理。
2. 信息维度：从信息损失到信息增强
传统方法：信息在传递过程中逐步损失 Dolphin方法：通过锚点机制，信息在第二阶段得到上下文增强
3. 系统维度：涌现性与还原性的平衡
Dolphin实现了系统论的理想状态：
涌现性：整体布局分析产生的结构理解超越了单个元素 还原性：每个元素都能被精确还原和处理 协同性：锚点机制让整体与部分形成有机协同
总体来看，字节的Dolpin项目还是非常扎实，非常不错，比SmolDocling开源更具实用价值。建议大家上手实操。 在我们的测试中发现了一个有趣现象：
Dolphin：严格按原文识别，连错误都原样保留 Gemini：主动纠正明显错误
问题来了：AI应该做"忠实的工具"还是"智能的伙伴"
