模型介绍
中文整理EmbeddingGemma-300M-LawVault (Chinese Legal RAG)
📖 模型简介 (Model Introduction)
EmbeddingGemma-300M-LawVault** 是一个专为**中国法律领域 RAG (检索增强生成)** 场景微调的高性能向量模型。
该模型基于 Google 的 embeddinggemma-300m 进行全量参数微调。通过构建超过6万条高质量的 (Query, Positive, Hard Negative) 三元组数据，并结合 **MultipleNegativesRankingLoss** 与 **MatryoshkaLoss** 进行训练，该模型在法律条文检索、口语化法律咨询理解以及抗干扰能力上相比原始模型有显著提升。
核心亮点
- *针对性强**：专门解决了通用模型无法区分“国家法律”与“地方法规/行政规章”相似文本的痛点。
- *抗干扰能力**：在训练中通过引入“同源难负例”，以原模型基于同一问题的错误召回法条作为难负例进行训练，模型能精准识别并排除内容相似但出处错误的干扰项。
- *支持口语化**：训练集包含了由 LLM 生成的真实用户口语化提问，弥补了法言法语与日常用语之间的语义鸿沟。
- *弹性向量 (Matryoshka)**：支持输出不同维度的向量 (768, 512, 256, 128)，在保持精度的同时大幅降低向量库存储成本。
📊 评测表现 (Evaluation)
基于真实法律场景构建的测试集（包含 120 条由 Deepseek V3.2 重新生成的未见过的口语化法律咨询问题）进行端到端 RAG 检索测试，结果如下：
指标 (Metric) 原始模型 (Base) **微调模型 (Ours)** 提升 (Improvement)
:--- :---: :---: :---:
- *Hit Rate @ 10** (前10名命中率) 85.0% **98.0%** 显著减少了“查不到”的情况
- *Top-1 Accuracy** (首位命中率) 58.0% **92.0%** **巨大提升 (+34%)**，绝大多数问题首条即答案
- *MRR @ 10** (平均倒数排名) 0.78 **0.96** 排序质量极高
注：测试环境为 LanceDB 向量库，检索范围覆盖基于全量中国法律法规切片的数据库。*
真实案例对比 (Case Study)
用户问题 (Query) 原始模型排名 **微调模型排名**
:--- :---: :---:
"省里的文物局能不能直接把我们这儿出土的文物调走？" ❌ 未召回 (10+) ✅ **第 1 名**
"商家在制定商品价格时，法律上要求他们必须做到哪几点？" ❌ 未召回 (10+) ✅ **第 1 名**
"如果因为修大型水电站征收了土地，补偿标准怎么算？" 第 2 名 ✅ **第 1 名**
"政府在资金上怎么支持乡村振兴？" 第 6 名 ✅ **第 1 名**
🚀 快速使用 (Usage)
安装依赖
加载模型
Training Details (Generated by Trainer)
Dataset
- *Size**: 65,783 training triplets (Anchor, Positive, Hard Negative)
- *Source**: Chinese Laws & Regulations (Civil, Criminal, Administrative, etc.)
Training Hyperparameters
- *Batch Size**: 24 (Effective Batch Size = 144 with Gradient Accumulation)
- *Learning Rate**: 2e-05
- *Epochs**: 3
- *Precision**: bf16 (BFloat16)
- *Gradient Accumulation**: 6 steps
- *Max Sequence Length**: 1024 tokens
Loss Function
MatryoshkaLoss** wrapping **MultipleNegativesRankingLoss**:
Training Logs
Click to expand detailed logs
Epoch Step Training Loss
:------: :----: :-------------:
- 0022 1 3.5148
... ... ...
- 0 457 0.2123
- 0 914 0.0749
- 0 1371 0.0369
Framework Versions
Python: 3.13.1
Sentence Transformers: 5.1.2
Transformers: 4.57.1
PyTorch: 2.9.1+cu130
Accelerate: 1.12.0
Datasets: 4.4.1
Tokenizers: 0.22.1
Citation
If you use this model, please cite the following:
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.