闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

qwen-vl-latex

fxzfxz/qwen-vl-latex

发布机构fxzfxz

下载访问条件魔搭来源

微调1(微调准确率较高,但可能会造成过拟合): 微调1中的相关图像见/finetune1/images,根据eval/loss结果,我们选择迭代次数为7000的checkpoint。(如下图) 微调2(降低学习率、加入正则化、增加lora秩等确保训练平稳并防止过拟合和加快训练):

图像分析
模型详情

模型介绍

中文整理

微调脚本:

微调1(微调准确率较高,但可能会造成过拟合):

微调1中的相关图像见/finetune1/images,根据eval/loss结果,我们选择迭代次数为7000的checkpoint。(如下图)

微调2(降低学习率、加入正则化、增加lora秩等确保训练平稳并防止过拟合和加快训练):

微调2中的相关图像见/finetune2/images,根据eval/loss结果,我们选择最后的checkpoint。

推理采用手动推理,具体代码请见文件infer.ipynb,实验环境如下:

PyTorch Version: 2.3.1+cu121

CUDA Available: True

CUDA Device Name: NVIDIA A10

CUDA Device Count: 1

推理显存使用率为:90%

使用AI-ModelScope/LaTeX OCR的测试集推理,推理结果请参见:results test.json文件,正确的标签参见:labels test.json文件。

下面列举出其中两条结果,可供参考:

(1)

标签: ( { \cal L } { a } g ) { i j } = 0 , ( { \cal L } { a } H ) { i j k } = 0

推理结果: ( \cal L { \alpha } g ) { i j } = 0 , \ ( \cal L { \alpha } H ) { i j k } = 0

(2)

标签: \langle T { z z } \rangle = - 3 \times \frac { \pi ^ { 2 } } { 1 4 4 0 a ^ { 4 } }

推理结果: \langle T { z z } \rangle = - 3 \times \frac { \pi ^ { 2 } } { 1 4 4 0 \mathrm { i n t } ^ { 4 } }

(3)

标签: S { s t a t } = 2 \pi \sqrt { N { 5 } ^ { ( 1 ) } N { 5 } ^ { ( 2 ) } N { 5 } ^ { ( 3 ) } } \left( \sqrt { n } + \sqrt { \bar { n } } \right)

推理结果: S { \mathrm { s t a t } } = 2 \pi \sqrt { \frac { N ( 1 ) } { N { B } ^ { ( 2 ) } N { F } ^ { ( 3 ) } } } \left( \sqrt { N { B } ^ { ( 2 ) } } + \sqrt { N { F } ^ { ( 3 ) } } \right)

渲染结果如下:

由此可见模型对应较复杂的公式识别的仍然不是很准确,需要进一步调整数据集和训练策略

SDK下载

Git下载

如果您是本模型的贡献者,我们邀请您根据模型贡献文档,及时完善模型卡片内容。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部