大语言模型

大模型问答应用需要一款怎样的PDF解析工具

2024 年 8 月 22 日

1、前言

过去的一年，是大语言模型快速发展的一年。大模型强大的语言理解能力，逐渐让用户习惯了将各类文章丢给大模型，让它来帮忙总结提炼。从产品角度看，这是一次10倍体验的飞跃，意味着巨大的市场机会。也因此，市面上涌现出了大量的文档+大模型的应用。但大多数的开发者普遍都会遇到一个问题，那就是各种文档的效果都想做好，兼容起来太麻烦了，有没有更佳解决方案？

以PDF为例，通常大家会尝试选择开源工具，比如PyPDF2，但发现它们对中文的支持都不太好；有些对行业相对了解的开发者，可能会选择一些付费的OCR api，但往往结果都是按行输出，丢失了段落信息，更不用说对于表格，或者像论文这样的双栏版式的良好支持了。

行内人士都知道，LLM在训练时，通常会采用较多的论文或书籍等知识密度较高的语料。大家一般会采用Markdown格式作为训练语料，这种格式既简单，又能反映一些基本的排版，能很好地表征论文和书籍中的信息。那么很自然想到，如果模型在做文档问答推理时，给到的内容也是Markdown格式的，效果会不会更好？

对于这个问题，合合信息的回答是肯定的。

合合信息实验结果表明：在同一批合同数据上，用Llama-7B模型，同样的Prompt做信息抽取，比较纯OCR和markdown格式输出的差异，结果发现，Markdown格式的抽取准确率要高于纯 OCR输出不少。

也因此，合合信息决定将智能文字处理领域十几年的积累都利用起来，为当前大模型浪潮下的开发者们，打造一款LLM友好的文档解析产品。

2、大模型问答应用需要一款怎样的PDF解析工具

经过调研发现，一款好用的PDF解析工具，至少要有3个特性：一是速度快、二是精度高、三是兼容性好。

速度快，是指解析一个文件的耗时要在秒级。尤其对于C端应用而言，如果用户上传一个300页的文档，结果要等上5分钟，这个体验一定是灾难性的。

精度高，是指对于各类版面元素都要有不错的识别效果。不管是公式、表格、还是相对复杂的排版，都能正确理解并准确还原。其中尤其以表格最为关键，如果表格的行列信息错位，会直接导致LLM在理解结论时出错。

兼容性好，是指对于繁杂的PDF编码格式都能正确识别，不会出现乱码、大量丢字等现象。

当然，最基本的还得有产品的稳定性和成本。

作为基础设施，稳定性是立身之本，尤其对于需要文档解析来提供线上服务的应用来说，如果底层基建不响应，精心设计的上层应用自然难以发挥应有的价值。

至于成本，对于要处理大量文件数据的业务而言，一点成本差异乘以巨大的文件数量，也可能导致最终成本难以接受。

最后，这里还想提一个关于开发者友好的需求。不管什么工具，开源的代码也好，闭源的接口也好，最终都是需要开发者集成到自己业务中的。一款开发者友好的工具，能让整个集成调试变得更轻松。最理想的情况是，不需要复杂的debug，不需要安装各种依赖环境，最好直接一键就能完成集成。同时针对问题还有完善的文档体系和售后或是社区支持。

3、合合信息文档解析实际应用效果

俗话说，是骡子是马，拉出来溜溜。在前面提到的几个特性上，合合信息的文档解析产品，当下到底表现如何呢？

1）速度——长文档秒级处理

这里找了几个长样本，通过接口限定其调用页面数，得到耗时结果如下：

同时，团队也测试了不同尺寸的单张图片耗时：

目前产品还在针对速度做进一步的优化，内部最快的版本，100页的耗时P90小于2.5s，预计5月份可上线。

2）精度与兼容性

为了直观展示使用合合信息解析能力后的效果，团队做了一次对比测试。

先用一批样本放到当前主流的几家大模型问答产品中，针对特定内容进行提问。然后挑选出各家产品均未能答对的样本，将其通过合合信息的接口输出为Markdown格式。由于目前仅有两家支持.md格式，因此团队手动将文件后缀改为.txt。然后将该.txt文件上传到各家产品中，再问和之前同样的问题，看回答情况是否有改善。

展示几张主要的结果：

首先是一个扫描件中的无线表格样本。某热门的大模型问答产品，在使用自带的解析时，找到的信息和表格内容不符；换用合合的解析结果之后，就能找对正确的数字了。