OCR技术在将现实世界中的文本信息转换为可编辑、可搜索的数据方面发挥着至关重要的作用，它桥接着物理世界与数字世界，是实现信息自动化处理的关键技术。作为AI-1.0时代的技术成果，OCR技术已经相对成熟，被广泛应用于文档管理、自动驾驶、智能监控等多个领域。
然而，随着技术的发展和应用需求的提升，OCR 1.0技术逐渐展现出局限性。传统OCR系统在处理复杂场景、模糊图像或特殊字体时，准确率和效率往往不尽人意。此外，随着AI进入以LLM（Large Language Models）为核心的AI-2.0时代，对OCR技术提出了更高的要求，不仅仅是文本识别，还需要与多模态能力相结合，实现更为丰富的信息提取和理解。
因此，OCR-2.0应运而生，该模型由阶跃星辰多模态团队开源。GOT-OCR2.0将所有的人工光学信号（例如文本、数学/分子公式、表格、图表、乐谱甚至几何形状等）统称为“字符”，并提出通用光学字符识别理论以及一个优秀的模型——GOT来促进OCR-2.0的到来。该模型具有580百万参数，是一个统一、优雅和端到端的模型，由高压缩编码器和长上下文解码器组成。作为OCR-2.0模型，GOT可以处理各种OCR任务中的上述“字符”。在输入方面，模型支持常用的场景和文档风格图像，在切片和整页样式下。在输出方面，GOT可以通过简单的提示生成纯文本或格式化结果（markdown/tikz/smiles/kern）。此外，模型还具备交互式OCR功能，即通过坐标或颜色进行区域级识别。另外，研究团队还将动态分辨率和多页面OCR技术应用于GOT以提高其实用性。GOT-OCR2.0模型未来也将会合入阶跃星辰多模态大模型！整一个期待住了！
传统的OCR识别系统通常基于多模块PipeLine包括字符检测，版面分析和字符识别部分，通用性较低。本文推出的GOT-OCR2.0模型，用于实现各种场景下的文本识别任务。该模型采用了Transformer结构，并结合了图像编码器、线性层和解码器三个模块。在预训练阶段，首先通过纯文本识别任务来预训练视觉编码器，然后连接一个更强大的解码器来进行多任务联合训练，以注入更多的OCR-2.0知识。最后，通过对解码器进行后训练，可以定制化新的OCR功能。
通用 OCR 模型需要够通用，体现在输入输出都要通用上。GOT 的通用具体表现为：
-输入方面：模型支持 Scene Text OCR、Document OCR、Fine-grained OCR、More General OCR 等任务。
-输出方面：模型同时支持 plain texts 输出以及可读性强、可编辑的 formatted 文本输出，如 markdown 等。
GOT-OCT-2.0模型结构，采用 vision encoder+input embedding layer+decoder 的 pipeline。
训练模型中主要的改进点分别为：
Encoder 主体使用了带 local attention的Vary-tiny编码器VITDet 架构来降低计算成本，不会让 CLIP 方案的全程 global attention 在高分辨率下激活太大，炸显存。
在数据准备阶段，使用了多种类型的数据引擎，包括合成数据和真实数据，以增强模型的鲁棒性和泛化能力。
在后训练过程中，只针对解码器进行训练，以实现定制化的OCR功能。
研究团队将整个训练过程分为三个步骤，没有一个阶段锁 LLM，过程中没有存在图像到文本的对齐阶段，进而导致损害 image token 的文字压缩率。
三个训练阶段分别为：
第一阶段：高效预训练 encoder，GOT 在整个训练过程中，没有 A100 级别的卡，为了节省资源，该阶段使用小型 OPT-125M 作为 decoder 为 encoder 提供优化方向，快速灌入大量数据。
第二阶段：联合训练 encoder-decoder，该阶段 GOT 的基本结构搭建完成，为上一阶段预训练好的 encoder，以及 Qwen 团队预训练好的 Qwen0.5B。
研究团队稍稍加大了 decoder 的大小，因为该阶段需要喂入大量 OCR-2. 0的知识，而不少数据（如化学式的 OCR）其实也是带点 reasoning的，不过更小的 decoder 他们未敢尝试。
第三阶段：锁住 encoder，加强 decoder 以适配更多的 OCR 应用场景，如支持坐标或者颜色引导的细粒度 OCR（点读笔可能会用到），支持动态分辨率 OCR 技术（超大分辨率图可能会用到），多页 OCR 技术。
模型链接：
https://modelscope.cn/models/stepfun-ai/GOT-OCR2_0
代码链接：
https://github.com/Ucas-HaoranWei/GOT-OCR2.0/
论文链接：
https://arxiv.org/abs/2409.01704
体验链接
modelscope download --model stepfun-ai/GOT-OCR2_0 --local_dir ./GOT-OCR2_0
安装依赖：
!pip install verovio
模型推理：
from modelscope import AutoModel, AutoTokenizertokenizer = AutoTokenizer.from_pretrained('stepfun-ai/GOT-OCR2_0', trust_remote_code=True)model = AutoModel.from_pretrained('stepfun-ai/GOT-OCR2_0', trust_remote_code=True, low_cpu_mem_usage=True, device_map='cuda', use_safetensors=True, pad_token_id=tokenizer.eos_token_id)model = model.eval().cuda()# input your test imageimage_file = '/mnt/workspace/58F3EF14-E073-4BBE-B9D9-53CCFE6AE183.png'# plain texts OCRres = model.chat(tokenizer, image_file, ocr_type='ocr')# format texts OCR:# res = model.chat(tokenizer, image_file, ocr_type='format')# fine-grained OCR:# res = model.chat(tokenizer, image_file, ocr_type='ocr', ocr_box='')# res = model.chat(tokenizer, image_file, ocr_type='format', ocr_box='')# res = model.chat(tokenizer, image_file, ocr_type='ocr', ocr_color='')# res = model.chat(tokenizer, image_file, ocr_type='format', ocr_color='')# multi-crop OCR:# res = model.chat_crop(tokenizer, image_file, ocr_type='ocr')# res = model.chat_crop(tokenizer, image_file, ocr_type='format')# render the formatted OCR results:# res = model.chat(tokenizer, image_file, ocr_type='format', render=True, save_render_file = './demo.html')print(res)
显存占用：
我们使用ms-swift对GOT-OCR2.0进行微调。ms-swift是魔搭社区官方提供的大模型与多模态大模型微调推理框架。
ms-swift开源地址：
https://github.com/modelscope/ms-swift
通常，多模态大模型微调会使用自定义数据集进行微调。在这里，我们将展示可直接运行的demo。我们使用Latex-OCR数据集：https://modelscope.cn/datasets/AI-ModelScope/LaTeX_OCR 进行微调。
在开始微调之前，请确保您的环境已准备妥当。
git clone https://github.com/modelscope/ms-swift.gitcd ms-swiftpip install -e .[llm]
微调脚本：
# 默认：微调 LLM & projector, 冻结 vision encoderCUDA_VISIBLE_DEVICES=0 swift sft \--model_type got-ocr2 \--model_id_or_path stepfun-ai/GOT-OCR2_0 \--sft_type lora \--dataset latex-ocr-print#5000# Deepspeed ZeRO2NPROC_PER_NODE=4 \CUDA_VISIBLE_DEVICES=0,1,2,3 swift sft \--model_type got-ocr2 \--model_id_or_path stepfun-ai/GOT-OCR2_0 \--sft_type lora \--dataset latex-ocr-print#5000 \--deepspeed default-zero2
训练显存占用：
如果要使用自定义数据集，只需按以下方式进行指定：
# val_dataset可选，如果不指定，则会从dataset中切出一部分数据集作为验证集--dataset train.jsonl \--val_dataset val.jsonl \
{"query": "<image>55555", "response": "66666", "images": ["image_path"]}{"query": "<image><image>eeeee", "response": "fffff", "history": [], "images": ["image_path1", "image_path2"]}{"query": "EEEEE", "response": "FFFFF", "history": [["query1", "response1"], ["query2", "response2"]]}训练loss图：
微调后推理脚本如下：
CUDA_VISIBLE_DEVICES=0 swift infer \--ckpt_dir output/got-ocr2/vx-xxx/checkpoint-xxx \--load_dataset_config true# or merge-lora & inferCUDA_VISIBLE_DEVICES=0 swift infer \--ckpt_dir output/got-ocr2/vx-xxx/checkpoint-xxx \--load_dataset_config true --merge_lora true
微调后模型对验证集进行推理的结果：
