闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

Qwen3-VL-2B-Contract-Extraction-LoRA-V1

HalHa8/Qwen3-VL-2B-Contract-Extraction-LoRA-V1

发布机构HalHa8

下载访问条件魔搭来源

Qwen3-VL-2B Contract Extraction LoRA V1 基于 Qwen3-VL-2B-Instruct 微调的多模态合同结构化信息抽取模型。 本模型使用 LoRA SFT 进行训练,目标是直接读取多页合同页面图片,并按照指定字段输出结构化 JSON。

文本处理文字对话
模型详情

模型介绍

中文整理

Qwen3-VL-2B Contract Extraction LoRA V1

基于 **Qwen3-VL-2B-Instruct** 微调的多模态合同结构化信息抽取模型。

本模型使用 LoRA SFT 进行训练,目标是直接读取多页合同页面图片,并按照指定字段输出结构化 JSON。

当前版本为 **V1 实验版本**,主要用于验证「基于高置信度 chunk 标签进行多模态合同字段抽取微调」的可行性。

Model Description

基础模型**

Qwen/Qwen3-VL-2B-Instruct

微调方式**

LoRA + Supervised Fine-Tuning (SFT)

模型输入**

1~3 页合同页面图片;

字段抽取指令。

模型输出**

如果当前页面没有足够证据支持任何目标字段,则输出:

当前 V1 版本支持以下 **6 个字段**:

# 字段 含义

  • -- --- ---

1 party name 甲方名称

2 counterparty name 乙方名称

3 counterparty signer name 乙方签署人姓名

4 counterparty signer title 乙方签署人职位

5 governing law 适用法律 / 管辖法律

6 contract value 合同金额

模型要求**仅输出当前输入页面中具有明确证据支持的字段**,不应根据合同其他未提供页面进行推断。

Intended Use

该模型主要用于:

合同页面结构化信息抽取;

多页扫描合同 / PDF 页面图片理解;

合同关键字段自动识别;

文档智能处理(IDP)相关研究与实验;

多模态大模型在合同抽取任务上的 LoRA 微调研究。

  • *注意**:当前版本主要是实验与研究用途,并不建议未经人工校验直接用于具有法律效力的合同审查、法律判断或自动决策。

Training Data

训练数据来源于公开 Hugging Face 数据集:

chenghao/sec-material-contracts-qa

原始数据共包含:

  • *804 份合同**
  • *6,584 个合同页面**

每份合同最多约 20 页

合同页面图片

按页排序的 page text

document-level 合同结构化字段标签

Chunk 切分

为了适应 Qwen3-VL-2B 的上下文与显存限制,将每份合同按照:

  • *chunk size = 3 pages**
  • *overlap = 1 page**

进行切分。例如:

最终生成 **3,133 个 multimodal chunks**。

Document-level Split

为避免同一份合同的不同页面进入不同数据集造成数据泄漏,**首先按照合同进行划分,再进行 chunk 切分**。

Split Documents

  • -- ---

Train 644

Validation 80

Test 80

  • *Total** **804**

V1 Label Construction

原始数据集提供的是 **document-level labels**,并未直接提供每个三页 chunk 对应的字段标签。

因此 V1 首先利用合同 page text 对 document-level 字段值进行页面级定位,再将高置信度字段映射到对应 chunk。

本版本只选择定位可靠性较高的 6 个字段:

party name 、 counterparty name 、 counterparty signer name 、 counterparty signer title 、 governing law 、 contract value

仅高置信度自动定位结果用于构建正样本。

Safe Negative Samples

规则未识别到字段的 chunk **不会**直接被标记为 {} ,因为:

rule not found ≠ field does not exist

只有同时满足以下条件时,chunk 才被视为**安全负样本**:

  • 当前 chunk 中不存在目标字段的高置信或待审候选;
  • 原始 document-level 字段值在对应 page text 中也没有明显出现。

最终训练数据分布如下:

Split Positive Negative Total

  • -- --- --- ---

Train 1,824 365 2,189

Validation 231 46 277

Test 206 41 247

负样本数量约为正样本数量的 **20%**;

占最终数据集总样本约 **16.6%**。

  • *需要注意**: page text 仅用于训练数据标签构建和验证,实际 Qwen3-VL 模型训练和推理输入为**合同页面图片**,而不是 OCR / page text 。

Training Procedure

采用 **ms-swift** 对 Qwen3-VL-2B-Instruct 进行 LoRA SFT。

主要训练参数

Parameter Value

  • -- ---

Base Model Qwen3-VL-2B-Instruct

Training Method LoRA SFT

LoRA Rank 8

LoRA Alpha 32

Target Modules all-linear

Learning Rate 1e-4

Epochs 3

Train Batch Size 1

Gradient Accumulation 4

Effective Batch Size 4

Image Max Token Num 1024

Precision BF16

Attention FlashAttention

Vision Encoder Frozen

Aligner Frozen

Gradient Checkpointing Enabled

训练环境

ms-swift 4.4.2

transformers 5.8.1

PEFT 0.19.1

PyTorch 2.10

CUDA 12.8

NVIDIA A10

单个 epoch 约包含 **548 个 optimizer steps**。

Why SFT Instead of Continued Pre-Training?

本任务的目标不是让模型继续学习一般性的合同语言知识,而是学习明确的**输入输出映射**:

因此属于典型的**监督学习任务**。

相比 Continued Pre-Training(CPT),SFT 可以直接利用字段级监督数据,让模型学习:

哪些字段**应该输出**;

哪些字段**应该省略**;

如何区分不同字段;

如何按照指定 JSON schema 输出结果。

CPT 更适用于利用大量无标注领域文本继续学习领域语言分布,而不能直接针对当前结构化字段抽取目标进行优化。

Evaluation

测试集包含:

  • *247** chunks
  • *525** gold fields

评价指标

Valid JSON Rate

Chunk Exact Match

Empty Chunk Accuracy

Field-level Precision

Field-level Recall

Field-level F1

Micro Precision / Recall / F1

Base Model vs LoRA V1

Metric Base Model LoRA V1 (Epoch 3)

  • -- --- ---

Valid JSON 98.79% **100.00%**

Chunk Exact Match 0.40% **48.99%**

Empty Chunk Accuracy 2.44% **87.80%**

Micro Precision 0.1714 **0.6530**

Micro Recall 0.4781 **0.6952**

Micro F1 0.2524 **0.6734**

相比未经微调的基础模型,LoRA SFT 显著降低了无依据字段的**过度抽取**,并显著提高了结构化字段抽取准确率。

Per-field Results

Field Precision Recall F1

  • -- --- --- ---

governing law 0.875 0.885 **0.880**

party name 0.706 0.740 0.722

counterparty signer name 0.607 0.635 0.621

counterparty signer title 0.549 0.661 0.600

contract value 0.594 0.613 0.603

counterparty name 0.540 0.581 0.560

Epoch 3 共预测 **559** 个字段,其中:

指标 数值

  • -- ---

TP 365

FP 194

FN 160

Training Epoch Analysis

Model Eval Loss Micro F1 Chunk Exact Empty Accuracy

  • -- --- --- --- ---

Base – 0.2524 0.40% 2.44%

Epoch 1 0.1550 0.6539 47.37% 80.49%

Epoch 2 0.1416 0.6557 48.18% 85.37%

Epoch 3 0.1525 **0.6734** **48.99%** **87.80%**

结论**

主要性能提升发生在第一个 epoch;

Epoch 3 的 validation loss 相比 Epoch 2 有所反弹,但字段级 Micro-F1 仍继续提升,因此 **token-level validation loss 与最终结构化抽取性能并不完全一致**;

对于结构化字段抽取任务,仅根据 language-model loss 选择最佳 checkpoint 可能并不理想,后续更适合使用 **validation Micro-F1 等任务级指标**进行 checkpoint selection。

Error Analysis

对 Epoch 1 在 Test247 上产生的 **283 条表面字段错误**进行了人工检查。

Type Count Ratio

  • -- --- ---

Confirmed model error 224 79.2%

Questionable gold label 37 13.1%

Incorrect gold label 21 7.4%

约 **20.5%** 的表面错误涉及标签本身存在疑问或错误。

主要模型错误类型

party name / counterparty name 角色混淆;

signer 字段过度抽取;

字段值遗漏;

contract value 语义混淆;

部分视觉文字识别和格式问题。

Limitations

Label Quality

V1 chunk labels 是由 document-level 标签结合规则定位**自动构建**的,并非全部经过人工逐条标注。

人工错误分析表明,部分评测标签仍存在错误或不确定性,因此当前测试指标应理解为:

模型相对于 **Rule-V1 标注体系**的表现,而不完全等同于真实世界合同抽取准确率。

Party Role Ambiguity

party name 与 counterparty name 在部分合同页面中缺少充分的局部角色信息,因此容易发生双方实体角色混淆。

Signer Extraction

正文中出现的人名或职位有时可能被误识别为签署人信息。

Contract Value

不同合同中的金额可能表示工资、费用、交易金额、奖励金额或其他补偿,字段定义仍存在一定语义复杂性。

Limited Fields

V1 当前仅训练 **6 个字段**,尚未覆盖完整合同字段体系。

Future Work

下一阶段计划构建 **V2 annotation pipeline**。

与 V1 根据 document-level labels 进行规则定位不同,V2 将使用**独立 Teacher Model**:

Teacher Model **不读取原始 document-level candidate labels**,而是直接根据当前 chunk 文本判断其中真实存在的字段。

目标包括:**

提高 chunk-level 标签准确率;

降低 party / counterparty 角色错误;

改善复杂日期、期限、termination 等语义字段;

扩展到更多合同字段;

比较 Rule-V1 与 Teacher-V2 数据质量对模型性能的影响。

How to Use

该仓库保存的是 **LoRA Adapter**,不是完整的 Qwen3-VL-2B 模型。

组件 名称

  • -- ---

Base Model Qwen/Qwen3-VL-2B-Instruct

Adapter HalHa8/Qwen3-VL-2B-Contract-Extraction-LoRA-V1

使用 ms-swift 可以加载 Base Model 与该 LoRA Adapter:

建议推理时继续使用与训练阶段一致的字段抽取 Prompt,并要求模型:

仅输出具有当前页面明确证据支持的字段;

不输出 null / None / N/A ;

不根据未提供页面推断信息;

如果无目标字段则返回 {} 。

Framework Versions

PEFT 0.19.1

ms-swift 4.4.2

Transformers 5.8.1

PyTorch 2.10

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部