模型介绍
中文整理Qwen3-VL-2B Contract Extraction LoRA V1
基于 **Qwen3-VL-2B-Instruct** 微调的多模态合同结构化信息抽取模型。
本模型使用 LoRA SFT 进行训练,目标是直接读取多页合同页面图片,并按照指定字段输出结构化 JSON。
当前版本为 **V1 实验版本**,主要用于验证「基于高置信度 chunk 标签进行多模态合同字段抽取微调」的可行性。
Model Description
基础模型**
Qwen/Qwen3-VL-2B-Instruct
微调方式**
LoRA + Supervised Fine-Tuning (SFT)
模型输入**
1~3 页合同页面图片;
字段抽取指令。
模型输出**
如果当前页面没有足够证据支持任何目标字段,则输出:
当前 V1 版本支持以下 **6 个字段**:
# 字段 含义
- -- --- ---
1 party name 甲方名称
2 counterparty name 乙方名称
3 counterparty signer name 乙方签署人姓名
4 counterparty signer title 乙方签署人职位
5 governing law 适用法律 / 管辖法律
6 contract value 合同金额
模型要求**仅输出当前输入页面中具有明确证据支持的字段**,不应根据合同其他未提供页面进行推断。
Intended Use
该模型主要用于:
合同页面结构化信息抽取;
多页扫描合同 / PDF 页面图片理解;
合同关键字段自动识别;
文档智能处理(IDP)相关研究与实验;
多模态大模型在合同抽取任务上的 LoRA 微调研究。
- *注意**:当前版本主要是实验与研究用途,并不建议未经人工校验直接用于具有法律效力的合同审查、法律判断或自动决策。
Training Data
训练数据来源于公开 Hugging Face 数据集:
chenghao/sec-material-contracts-qa
原始数据共包含:
- *804 份合同**
- *6,584 个合同页面**
每份合同最多约 20 页
合同页面图片
按页排序的 page text
document-level 合同结构化字段标签
Chunk 切分
为了适应 Qwen3-VL-2B 的上下文与显存限制,将每份合同按照:
- *chunk size = 3 pages**
- *overlap = 1 page**
进行切分。例如:
最终生成 **3,133 个 multimodal chunks**。
Document-level Split
为避免同一份合同的不同页面进入不同数据集造成数据泄漏,**首先按照合同进行划分,再进行 chunk 切分**。
Split Documents
- -- ---
Train 644
Validation 80
Test 80
- *Total** **804**
V1 Label Construction
原始数据集提供的是 **document-level labels**,并未直接提供每个三页 chunk 对应的字段标签。
因此 V1 首先利用合同 page text 对 document-level 字段值进行页面级定位,再将高置信度字段映射到对应 chunk。
本版本只选择定位可靠性较高的 6 个字段:
party name 、 counterparty name 、 counterparty signer name 、 counterparty signer title 、 governing law 、 contract value
仅高置信度自动定位结果用于构建正样本。
Safe Negative Samples
规则未识别到字段的 chunk **不会**直接被标记为 {} ,因为:
rule not found ≠ field does not exist
只有同时满足以下条件时,chunk 才被视为**安全负样本**:
- 当前 chunk 中不存在目标字段的高置信或待审候选;
- 原始 document-level 字段值在对应 page text 中也没有明显出现。
最终训练数据分布如下:
Split Positive Negative Total
- -- --- --- ---
Train 1,824 365 2,189
Validation 231 46 277
Test 206 41 247
负样本数量约为正样本数量的 **20%**;
占最终数据集总样本约 **16.6%**。
- *需要注意**: page text 仅用于训练数据标签构建和验证,实际 Qwen3-VL 模型训练和推理输入为**合同页面图片**,而不是 OCR / page text 。
Training Procedure
采用 **ms-swift** 对 Qwen3-VL-2B-Instruct 进行 LoRA SFT。
主要训练参数
Parameter Value
- -- ---
Base Model Qwen3-VL-2B-Instruct
Training Method LoRA SFT
LoRA Rank 8
LoRA Alpha 32
Target Modules all-linear
Learning Rate 1e-4
Epochs 3
Train Batch Size 1
Gradient Accumulation 4
Effective Batch Size 4
Image Max Token Num 1024
Precision BF16
Attention FlashAttention
Vision Encoder Frozen
Aligner Frozen
Gradient Checkpointing Enabled
训练环境
ms-swift 4.4.2
transformers 5.8.1
PEFT 0.19.1
PyTorch 2.10
CUDA 12.8
NVIDIA A10
单个 epoch 约包含 **548 个 optimizer steps**。
Why SFT Instead of Continued Pre-Training?
本任务的目标不是让模型继续学习一般性的合同语言知识,而是学习明确的**输入输出映射**:
因此属于典型的**监督学习任务**。
相比 Continued Pre-Training(CPT),SFT 可以直接利用字段级监督数据,让模型学习:
哪些字段**应该输出**;
哪些字段**应该省略**;
如何区分不同字段;
如何按照指定 JSON schema 输出结果。
CPT 更适用于利用大量无标注领域文本继续学习领域语言分布,而不能直接针对当前结构化字段抽取目标进行优化。
Evaluation
测试集包含:
- *247** chunks
- *525** gold fields
评价指标
Valid JSON Rate
Chunk Exact Match
Empty Chunk Accuracy
Field-level Precision
Field-level Recall
Field-level F1
Micro Precision / Recall / F1
Base Model vs LoRA V1
Metric Base Model LoRA V1 (Epoch 3)
- -- --- ---
Valid JSON 98.79% **100.00%**
Chunk Exact Match 0.40% **48.99%**
Empty Chunk Accuracy 2.44% **87.80%**
Micro Precision 0.1714 **0.6530**
Micro Recall 0.4781 **0.6952**
Micro F1 0.2524 **0.6734**
相比未经微调的基础模型,LoRA SFT 显著降低了无依据字段的**过度抽取**,并显著提高了结构化字段抽取准确率。
Per-field Results
Field Precision Recall F1
- -- --- --- ---
governing law 0.875 0.885 **0.880**
party name 0.706 0.740 0.722
counterparty signer name 0.607 0.635 0.621
counterparty signer title 0.549 0.661 0.600
contract value 0.594 0.613 0.603
counterparty name 0.540 0.581 0.560
Epoch 3 共预测 **559** 个字段,其中:
指标 数值
- -- ---
TP 365
FP 194
FN 160
Training Epoch Analysis
Model Eval Loss Micro F1 Chunk Exact Empty Accuracy
- -- --- --- --- ---
Base – 0.2524 0.40% 2.44%
Epoch 1 0.1550 0.6539 47.37% 80.49%
Epoch 2 0.1416 0.6557 48.18% 85.37%
Epoch 3 0.1525 **0.6734** **48.99%** **87.80%**
结论**
主要性能提升发生在第一个 epoch;
Epoch 3 的 validation loss 相比 Epoch 2 有所反弹,但字段级 Micro-F1 仍继续提升,因此 **token-level validation loss 与最终结构化抽取性能并不完全一致**;
对于结构化字段抽取任务,仅根据 language-model loss 选择最佳 checkpoint 可能并不理想,后续更适合使用 **validation Micro-F1 等任务级指标**进行 checkpoint selection。
Error Analysis
对 Epoch 1 在 Test247 上产生的 **283 条表面字段错误**进行了人工检查。
Type Count Ratio
- -- --- ---
Confirmed model error 224 79.2%
Questionable gold label 37 13.1%
Incorrect gold label 21 7.4%
约 **20.5%** 的表面错误涉及标签本身存在疑问或错误。
主要模型错误类型
party name / counterparty name 角色混淆;
signer 字段过度抽取;
字段值遗漏;
contract value 语义混淆;
部分视觉文字识别和格式问题。
Limitations
Label Quality
V1 chunk labels 是由 document-level 标签结合规则定位**自动构建**的,并非全部经过人工逐条标注。
人工错误分析表明,部分评测标签仍存在错误或不确定性,因此当前测试指标应理解为:
模型相对于 **Rule-V1 标注体系**的表现,而不完全等同于真实世界合同抽取准确率。
Party Role Ambiguity
party name 与 counterparty name 在部分合同页面中缺少充分的局部角色信息,因此容易发生双方实体角色混淆。
Signer Extraction
正文中出现的人名或职位有时可能被误识别为签署人信息。
Contract Value
不同合同中的金额可能表示工资、费用、交易金额、奖励金额或其他补偿,字段定义仍存在一定语义复杂性。
Limited Fields
V1 当前仅训练 **6 个字段**,尚未覆盖完整合同字段体系。
Future Work
下一阶段计划构建 **V2 annotation pipeline**。
与 V1 根据 document-level labels 进行规则定位不同,V2 将使用**独立 Teacher Model**:
Teacher Model **不读取原始 document-level candidate labels**,而是直接根据当前 chunk 文本判断其中真实存在的字段。
目标包括:**
提高 chunk-level 标签准确率;
降低 party / counterparty 角色错误;
改善复杂日期、期限、termination 等语义字段;
扩展到更多合同字段;
比较 Rule-V1 与 Teacher-V2 数据质量对模型性能的影响。
How to Use
该仓库保存的是 **LoRA Adapter**,不是完整的 Qwen3-VL-2B 模型。
组件 名称
- -- ---
Base Model Qwen/Qwen3-VL-2B-Instruct
Adapter HalHa8/Qwen3-VL-2B-Contract-Extraction-LoRA-V1
使用 ms-swift 可以加载 Base Model 与该 LoRA Adapter:
建议推理时继续使用与训练阶段一致的字段抽取 Prompt,并要求模型:
仅输出具有当前页面明确证据支持的字段;
不输出 null / None / N/A ;
不根据未提供页面推断信息;
如果无目标字段则返回 {} 。
Framework Versions
PEFT 0.19.1
ms-swift 4.4.2
Transformers 5.8.1
PyTorch 2.10
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
