模型介绍
中文整理文档图像中的算法块与代码块检测模型**
需求概述
学术和技术文献中为了更准确地说明技术方案,对技术方案的核心部分进行分析,往往会加入一定比例的代码和算法,在信息领域的文献中尤其常见。这一实践,是仅仅靠成段文字、分条枚举,表格说明或者图片解释所不能代替的。因此,阅读这些文献时,**快速定位到特定的技术细节或者算法实现,看看文献中的“干货”到底长个什么样,从而发现关键创新**,是个常见需求。
我们获得的学术和技术文献通常以文本、图像或者双层的PDF文档而出现,无论哪种类型的PDF,都可以将每页PDF转换成文档图像,通过OCR等方式检测其中的文本、公式、标题、图片、表格等元素,然后进行识别。目前**来自MinerU提供的PDF-Extract-Kit,Surya等许多版面分析模型在检测文本、公式、标题、图片、表格等元素上已经获得了比较高的准确率,在很多场景下的表现日趋完美**。但是**这些模型在遇到含有代码块还有算法块的文献时,往往效果不尽如人意,从而限制了在需要理解代码块和算法块的场景中的应用**。
典型问题包括:
(1) 代码块或算法块被误识别为段落文本,从而和正常文本一样被识别和排版处理,但是因为算法块和代码块中的行号等特征,导致后续识别文献中的代码和算法时效果较差;
(2) 代码块或算法块不能被这些模型所理解,被分割成多个段落文本,从而被人为拆开;
(3) 有些代码块或算法块的特征比较明显,已有版面结构分析模型可能并没有专门在这些数据上训练,所以遇到这些分布外的元素时,出现近乎乱码的现象。
以MinerU开源的版面结构分析模型为例,在识别一些arXiv文章时,一些在算法块上的相对不理想的示例如下(类别名称使用中文,比如Text标记为“正文文本”):
一些在代码块上的badcase举例如下:
总之,这些优秀的开源模型,在遇到页面中含有算法块或者代码块时,对应区域的识别效果就会大打折扣,产生的结果很不理想。为此,就**需要在这两类页面元素上进行有针对性的优化,使得能够直接检测到算法块和代码块,并标出正确的位置**。
数据收集
最近,上海人工智能实验室联合上海交通大学、浙江大学、复旦大学团队,发布了首个大规模多模态结构化科学文献基准数据集 DocGenome(TB级)。数据集的地址可见
该数据集包含了对文档图像中元素类别的全面标注,其中就包括算法块和代码块两个类别。因此,可以考虑从该数据集中分别抽取所标注的算法块和代码块,分别制作成算法块检测数据集 alg-det-dataset ,以及代码块检测数据集 code-det-dataset ,中间将格式转换成X-AnyLabel,便于在标注界面中查看,然后转换标注格式为YOLO-HBB格式,分别发布在Huggingface上,地址链接分别如下:
动手实践之后,抽取出来含算法块的图像13617张,含代码块的图像7463张。由于标注效果粗看起来比较好,所以截取离现在最近的一些arXiv文章放在验证集和测试集当中。
数据集名称 标识 样本量 训练集train 验证集val 测试集test
- ----------------- ------------------ -------- ------------- ----------- ------------
算法块检测数据集 alg-det-dataset 13617 10615 2002 1000
代码块检测数据集 code-det-dataset 7463 6493 849 121
: 数据集信息统计
模型训练
基于ultralytics框架,使用2种架构共7个尺寸大小的模型,模型分别是RT-DETR-L, RT-DETR-X, YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x。分别在两个数据集上分别训练。每个模型3张卡,batch=12, 训练时将图像大小调整为1024x720(与A4纸比例相同),训练100个epochs。训练之后,发现这几个模型的准确率都比较接近,而且最小尺寸的YOLOv8n就可以得到非常不错的效果,推荐在实际中使用该模型。训练好的权值文件,在Huggingface中的地址链接分别如下:
有两点需要说明的:
- 发布的DocGenome数据集对算法块的标注较为准确,但有时候把算法块的标题第一行标进去,有时候不把第一行标进去,标注标准存在不一致的情况,所以本次训练出来的模型,也继承了这一特点。
- 发布的DocGenome数据集对代码块的标注不太准确,实际上一些标注出来的区域更像是行间公式。所以标注中就存在一定的误判比例。本次训练出来的模型,也继承了这一特点,并且存在一些代码块位置检测不准的情况。
部分模型的表现分别如下,详情见于Huggingface上每个模型对应的文件夹。
预测示例
训练好的模型,在新数据上进行预测,基本上能够纠正原有版面结构分析模型中的识别错误。预测代码示例如下:
在前面需求概述中的几个样本,均在测试集/验证集中,使用训练好的模型对样本进行预测,结果分别如下:
思维拓展
- 模型是在arXiv数据集上进行训练的,所以后续如果中文文献中有需求,可以按照这个思路标注文档图像并进一步训练。本模型在中文上的表现也有待探索;
- 现在分享论文等场景中,通常是以截图的形式把算法块和代码块贴出来,围绕贴图进行分析。本模型可以作为文档智能检测与识别流程的一个环节,起到替代手工截图的功能。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
