模型介绍
中文整理微调脚本:
微调1(微调准确率较高,但可能会造成过拟合):
微调1中的相关图像见/finetune1/images,根据eval/loss结果,我们选择迭代次数为7000的checkpoint。(如下图)
微调2(降低学习率、加入正则化、增加lora秩等确保训练平稳并防止过拟合和加快训练):
微调2中的相关图像见/finetune2/images,根据eval/loss结果,我们选择最后的checkpoint。
推理采用手动推理,具体代码请见文件infer.ipynb,实验环境如下:
PyTorch Version: 2.3.1+cu121
CUDA Available: True
CUDA Device Name: NVIDIA A10
CUDA Device Count: 1
推理显存使用率为:90%
使用AI-ModelScope/LaTeX OCR的测试集推理,推理结果请参见:results test.json文件,正确的标签参见:labels test.json文件。
下面列举出其中两条结果,可供参考:
(1)
标签: ( { \cal L } { a } g ) { i j } = 0 , ( { \cal L } { a } H ) { i j k } = 0
推理结果: ( \cal L { \alpha } g ) { i j } = 0 , \ ( \cal L { \alpha } H ) { i j k } = 0
(2)
标签: \langle T { z z } \rangle = - 3 \times \frac { \pi ^ { 2 } } { 1 4 4 0 a ^ { 4 } }
推理结果: \langle T { z z } \rangle = - 3 \times \frac { \pi ^ { 2 } } { 1 4 4 0 \mathrm { i n t } ^ { 4 } }
(3)
标签: S { s t a t } = 2 \pi \sqrt { N { 5 } ^ { ( 1 ) } N { 5 } ^ { ( 2 ) } N { 5 } ^ { ( 3 ) } } \left( \sqrt { n } + \sqrt { \bar { n } } \right)
推理结果: S { \mathrm { s t a t } } = 2 \pi \sqrt { \frac { N ( 1 ) } { N { B } ^ { ( 2 ) } N { F } ^ { ( 3 ) } } } \left( \sqrt { N { B } ^ { ( 2 ) } } + \sqrt { N { F } ^ { ( 3 ) } } \right)
渲染结果如下:
由此可见模型对应较复杂的公式识别的仍然不是很准确,需要进一步调整数据集和训练策略
SDK下载
Git下载
如果您是本模型的贡献者,我们邀请您根据模型贡献文档,及时完善模型卡片内容。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
