Model details
模型介绍
中文整理文字识别模型介绍
文字识别,即给定一张文本图片,识别出图中所含文字并输出对应字符串。
本模型用于通用场景(不包含手写场景)的文字识别任务。
欢迎使用!
模型描述
本模型主要包括两个主要部分,统一卷积与自注意力机制的主干网络和Enhanced CTC loss(增加Center loss优化相似字符误识别问题),模型训练过程中,使用自蒸馏策略,识别模型结构如下图:
模型测试接结果
在公开中文数据集Benchmarking-Chinese-Text-Recognition上训练并测试,结果如下表所示:
ModelSceneWebDocument
SAR62.554.393.8
TransOCR63.362.396.9
MaskOCR-base73.974.899.3
OFA-OCR82.981.799.1
CNCV-OCR77.2878.4499.42
与 OFA-OCR 模型对比优势:
- 在保持精度较高的同时,推理速度快,显存占用少,模型实用性高,在A10机器上耗时(s)对比如下:
模型batch 1batch 16batch 32batch 64
OFA-OCR0.25342.16954.052out-memory
CNCV-OCR0.0210.05100.09820.2185
期望模型使用方式以及适用范围
本模型主要用于给输入图片输出图中文字内容,具体地,模型输出内容以字符串形式输出。用户可以自行尝试各种输入图片。具体调用方式请参考代码示例。
注:输入图片应为包含文字的单行文本图片。其它如多行文本图片、非文本图片等可能没有返回结果,此时表示模型的识别结果为空。
模型可视化效果
以下为模型的可视化文字识别效果。
TODO
模型局限性以及可能的偏差
模型是在中文数据集上训练的,在其他语言或其他场景的数据上有可能产生一定偏差,请用户自行评测后决定如何使用。
当前版本在python3.7的CPU环境和单GPU环境测试通过,其他环境下可用性待测试。
相关论文以及引用
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖,以原作者说明为准。
授权范围是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.