模型介绍
中文整理Chinese Decision 2B
中文概率决策模型:一次前向,直接返回候选项概率。**
A Chinese decision model fine-tuned from Qwen3.5-2B with LoRA and CE + RLCD. It supports yes/no, single-choice and ordinal decisions across general, medical, legal and finance tasks. This package contains merged BF16 weights and the existing validation-fitted temperature.
代码 · 模型总览 · Decision Studio · 训练数据 · 测试集
- 8B BF16 · 0.8B Q8 0 · 2B BF16 · 2B Q8 0 · 4B BF16 · 4B Q8 0
相关资源
资源 说明 链接
- -- --- ---
代码 训练、评测、GGUF 导出与 HTTP 服务(GPU / CPU) GitHub
测试平台 Decision Studio:决策实验台、场景库、鲁棒性实验室、评测中心与性能压测 GitHub
2B BF16(本仓库) 合并权重与校准温度,Transformers 推理 Hugging Face · ModelScope
2B GGUF Q8 0 llama.cpp 推理,CPU 即可部署,不需要 PyTorch Hugging Face · ModelScope
4B 系列 系列中准确率最高;权重约为本模型的 2.2 倍 BF16 · GGUF
- 8B 系列 更小、更快;部分法律判断与金融评分任务更好 BF16 · GGUF
简介
Chinese Decision** 是一个面向中文场景的轻量级**决策模型**。它不聊天、不生成文本:给定上下文和一组固定候选项,一次前向直接返回每个候选项的概率,适合意图识别、工单分流、内容审核、数据打标、给模型输出打分、智能体动作选择等"有限选项判断"任务。
- *一次前向,零输出 token**:读取最后位置上候选字母 A – Z 的 logits,softmax 后即为概率。
- *三种题型**: noul (是/否)、 choice (单选)、 score (有序等级,返回期望分值)。
- *单一模型覆盖四个领域**:通用、医疗、法律、金融混合训练。
- *准确率与成本折中**:CJ-Bench 全量整体 ACC **84.11%**,医疗 / 法律 / 金融平均 **78.25%**,比 chinese-decision-0.8b 分别高 **1.01 / 1.35** 个百分点;更大的 chinese-decision-4b 为 85.97% / 84.00%,权重约为本模型的 2.2 倍。
- *概率经过校准**:附带在独立校准划分上拟合的温度,整体 ECE **0.64%**。
模型与交付状态
更新于 2026-10-17。BF16 合并模型已完成全量 CJ-Bench、保存/重载和实际 HTTP 三题型/双路由验证,并已在 Hugging Face 与 ModelScope 公开发布。由本模型直接转换的 Q8 0 GGUF 也已完成全量 CJ-Bench 对照,见 2B Q8 0 模型卡。
项目 值
- -- ---
基础模型 Qwen3.5-2B,文本决策主干
训练目标 候选分布交叉熵 + RLCD;LoRA rank 32
训练覆盖 1 epoch,13,048,000 条决策,4,994 步,4 卡
best 验证集 distribution NLL 选择 step 4994,NLL 0.5860035124
RLCD group size 4,sigma 按已训练样本进度从 0.4 降至 0.1
交付权重 model.safetensors,BF16,3,763,692,048 字节
默认温度 **1.074872374534607**,独立验证划分拟合
输入 / 候选项 最长 16,384 tokens / 单题 2–26 项(训练覆盖 2–16 项),类别更多用 /v1/tournament 分组淘汰
提示版本 hmm-zh-v1,关闭 thinking,末位候选字母 logits
训练结束 2026-10-17 17:25:54,Asia/Shanghai
训练数据版本 a3963a61f71e00051a80721e587d720d8926e8e7。最终 adapter SHA256 为 9b55e8eda00997544b76fa945d890605c3acae4199041c197ef5a09275142a7c;合并权重 SHA256 为 a8fadd326b19a278f8c26216ca481b607369baca33962aac0d8fda603c830068。
文件说明
文件 内容
- -- ---
model.safetensors、config.json 合并模型,无需再次加载 PEFT adapter
tokenizer.json、tokenizer config.json、chat template.jinja tokenizer 与聊天模板
decision config.json 模型身份、温度、最大长度与候选数
training config.json、training summary.json 配置、训练覆盖、best 的来源
validation report.json 选模验证集的校准前后指标,**不是测试集结果**
LICENSE、LICENSES/、THIRD PARTY NOTICES.md 许可与上游方法归属
Quick start
Download
GPU HTTP 服务
在 代码仓库 根目录安装推理依赖,模型目录放在 models/chinese-decision-2b:
启动前选择空闲 GPU;本命令不需要访问训练 run 或加载 adapter。测试服务:
Python 直接读取候选概率
以下示例仅需 PyTorch 和 Transformers,不需要训练库或文本生成。项目实测环境为 torch 2.8.0、transformers 5.3 系列;安装约束见 pyproject.toml。固定候选顺序并读取 decision config.json 的温度,不使用通用 text-generation pipeline。
接口 用途
- -- ---
POST /v1/systemone 决策;可追加 ?debug=1 查看候选 logits
POST /api/alpha/decisions 兼容 hmm 的同一决策路由
POST /v1/batch 多请求批处理,单个请求失败不影响其他请求
POST /v1/compile 编译输入并计数 tokens
POST /v1/tournament 类别更多的 choice 问题:分组淘汰后决赛,每组不超过 16 个候选
GET /health 、 GET /v1/info 模型身份、step、温度及运行信息
每个请求最多 64 个问题,每题 2–26 个候选(类别更多时用 /v1/tournament ,示例 examples/tournament.json 有 41 个客服意图),最长 16,384 tokens;超长或不合法输入返回 422,不静默截断。 score 输出从 0 开始的等级期望值,不是最大概率等级; confidence = (K*p max-1)/(K-1) 衡量分布尖锐程度,不等于经验准确率。
CJ-Bench 全量结果
CJ-Bench 全量为 **307,900 条**(304,822 条硬标签、3,078 条软标签),通用/医疗/法律/金融分别为 100,000 / 200,000 / 4,300 / 3,600 条。全部保留原始候选顺序,无过滤、无截断。ACC/ECE 仅计硬标签,ECE 使用 15 个等宽分箱;分布 NLL 与 Brier 包含软标签;Score MAE 覆盖 38,746 条评分题,计算预测期望等级与目标期望等级的绝对差。
整体 micro 按硬标签样本数加权,四领域 macro 是四个领域的等权平均,专业平均仅对医疗、法律、金融等权。不同量不能互换,整体 ECE 也不是领域 ECE 的平均。选模和温度拟合只使用验证数据,未使用 CJ-Bench 标签。
下表均为已发布的正式权重(LoRA 已合并,使用默认温度);本仓库为 chinese-decision-2b,chinese-decision-2b-gguf 由它直接转换。**加粗**表示 2B 相对同格式 0.8B 提升的指标。
- *关于温度 T**:概率按 p = softmax(z / T) 计算,z 为候选字母的 logits。**T = 1** 表示直接对 logits 做 softmax、不做温度校准。发布权重附带在独立验证划分上拟合的温度(0.8B 为 1.108,2B 为 1.075),只调整概率的尖锐程度,**不改变选出的答案**:准确率不变,ECE / NLL 更好。
模型 格式 Micro ACC (%) ↑ Macro ACC (%) ↑ ECE (%) ↓ NLL ↓ Brier ↓ Score MAE ↓
- -- --- ---: ---: ---: ---: ---: ---:
chinese-decision-0.8b BF16 83.1052 75.7376 0.2706 0.431318 0.223833 0.584427
chinese-decision-0.8b-gguf Q8 0 83.1233 75.8092 0.2696 0.431293 0.223815 0.583973
chinese-decision-2b BF16 **84.1107** **77.1750** 0.6361 **0.416520** **0.213295** **0.564216**
chinese-decision-2b-gguf Q8 0 **84.1094** **77.3282** 0.6534 **0.416288** **0.213189** **0.563738**
相对 chinese-decision-0.8b,本模型 Micro **+1.01**、Macro **+1.44**、专业平均 **+1.35** 个百分点,NLL / Brier / Score MAE 均更低;整体 ECE 略高(0.64% vs 0.27%)。同口径下 chinese-decision-4b 为 Micro 85.97%、Macro 81.92%,见 4B 模型卡。
分领域与分题型
模型 格式 General ACC (%) Medical ACC (%) Legal ACC (%) Finance ACC (%) Professional avg. ACC (%)
- -- --- ---: ---: ---: ---: ---:
chinese-decision-0.8b BF16 72.26 88.85 67.84 74.00 76.90
chinese-decision-0.8b-gguf Q8 0 72.23 88.89 67.84 74.28 77.00
chinese-decision-2b BF16 **73.96** **89.50** **68.74** **76.50** **78.25**
chinese-decision-2b-gguf Q8 0 **73.91** **89.50** **69.40** **76.50** **78.47**
题型 样本数 chinese-decision-0.8b ACC (%) chinese-decision-2b ACC (%) 2B ECE (%) 2B NLL 2B Score MAE
- -- ---: ---: ---: ---: ---: ---:
noul 134,577 94.96 **95.11** 0.34 0.114612 —
choice 134,577 78.32 **80.12** 0.90 0.559377 —
score 38,746 56.45 **57.67** 1.65 0.968959 0.564216
与其他决策模型对比
下表的外部模型数字为 Chinese-Jev 原文 Table 1 / Table 2 的作者报告值,2026-10-17 核对,本项目没有重跑这些模型;本项目行为发布权重。**加粗**为每列最优。
通用领域(Table 1)**
模型 ACC (%) ↑ ECE (%) ↓
- -- ---: ---:
Qwen3.5-2B 32.95 43.68
Open-Jev 52.33 10.54
SemIF 44.21 27.27
Laya Multilingual 40.22 23.04
Jev (API) 68.35 11.45
Chinese-Jev General / Specialists 69.20 3.78
chinese-decision-0.8b 72.26 **1.68**
chinese-decision-2b **73.96** 1.93
专业领域(Table 2)**
模型 Medical ACC Medical ECE Legal ACC Legal ECE Finance ACC Finance ECE Avg. ACC Avg. ECE
- -- ---: ---: ---: ---: ---: ---: ---: ---:
Qwen3.5-2B 53.88 28.71 31.53 44.82 38.11 49.12 41.17 40.88
Open-Jev 73.08 2.88 44.07 23.15 48.11 10.19 55.09 12.07
SemIF 62.17 10.39 43.07 19.99 47.89 18.45 51.04 16.28
Laya Multilingual 24.55 43.05 34.72 31.49 38.31 26.18 32.53 33.57
Jev (API) 84.29 5.70 68.35 8.03 **78.39** 2.98 77.01 5.57
Chinese-Jev General 39.77 17.33 38.76 15.37 35.39 14.43 37.97 15.71
Chinese-Jev General / Specialists 87.65 7.25 60.10 17.45 64.72 11.55 70.82 12.08
chinese-decision-0.8b 88.85 1.12 67.84 4.05 74.00 2.45 76.90 2.54
chinese-decision-2b **89.50** **0.24** **68.74** **3.37** 76.50 **2.13** **78.25** **1.92**
本模型相对 Chinese-Jev(General + 三个 Specialist)在通用 / 医疗 / 法律 / 金融分别高 **4.76 / 1.85 / 8.64 / 11.78** 个百分点,专业平均高 **7.43**;相对闭源 Jev,专业平均高 **1.24**,金融仍低 1.89。四个领域的 ECE 都低于论文中的所有模型。Chinese-Jev General 加上医疗、法律和金融 Specialist 是 **四个分别模型**;本项目每个尺寸各使用一个模型覆盖四领域。Jev 为闭源 API。论文使用 H200,本地使用 A800;延迟口径和硬件不同,不做等价排名。
2B 与 0.8B 的模型规模、batch 和训练目标同时变化,因此结果不能当作 RLCD 的独立收益。训练过程中各 checkpoint 的评测结果见 训练过程 checkpoint 评测。
Q8 0 版本
由本模型直接转换的 2B Q8 0 GGUF(2.01 GB,llama.cpp,CPU 可运行,不需要 PyTorch)沿用同一温度,在 CJ-Bench 全部 307,900 条上与本模型逐条配对:整体 ACC **84.1094%**(本模型 84.1107%,净少对 4 条),首选项一致率 **99.00%**,ECE 0.6534%(本模型 0.6361%),NLL、Brier、Score MAE 略降。四领域 macro 77.3282%、专业平均 78.4663%,高出的部分主要来自法律领域(4,300 条中净多对 28 条),不代表量化提升了能力。
全量在 llama.cpp CUDA 上测得,CPU 只验证了有限输入。分领域、分题型、来源变化、BF16 GGUF 后端对照与 CPU / GPU 延迟见 2B Q8 0 模型卡。
校准验证与测试的区别
温度只在母记录分组后的验证划分 0 上拟合,选模使用划分 1–4。后者固定 1200 条验证数据上:
合并模型验证指标 T=1 T=1.0748723745
- -- ---: ---:
硬标签 ACC (%) 76.0906 76.0906
ECE(10 bins,%) 2.3324 1.0608
分布 NLL 0.585104 0.582978
Brier 0.316658 0.315944
上述验证 ECE 为 10 bins,不能混入使用 15 bins 的 CJ-Bench 测试表。全局温度不能保证所有领域、来源或题型都改善。
性能与已知局限
同服务器、25 条输入、每条预热后测 3 次,Transformers BF16 GPU 的单请求 p50 为 **44.77 ms**;短输入(92–255 tokens)p50 为 **44.68 ms**。这是预先分词后的前向及概率计算,不含分词、HTTP 或网络,且为共享 A800 服务器。完整长度范围为 92–6521 tokens,不能从这些输入推断生产吞吐。
2B 的整体准确率更高,但法律判断与金融评分仍落后于 0.8B:法律 noul 为 82.07%(chinese-decision-0.8b 为 85.60%),金融 score 为 80.33%(0.8B 为 82.83%);Q8 0 为 82.73% 和 80.58%。
商品分类来源 3,151 条在训练过程中波动较大,发布权重 ACC 为 70.96%、NLL 1.5125。整体指标不能代替来源诊断。
温度校准降低了整体 ECE,但 Score MAE 比 T = 1 时略高(0.5642 vs 0.5607);金融领域仍低于闭源 Jev 的作者报告准确率。
不用于聊天或开放式生成;仅针对中文固定候选任务训练。标签含义来自原任务,不能代替专业正确性判断。阈值与人工复核区间需用实际业务数据验证。
原始报告:reports/cj-bench-2b-step4994-calibrated-20261017。数据 manifest SHA256 为 461bb692676e8c01bbc89a5478a6cda9e5d0096afd2c82919d73f45a018ea351。训练配置、导出与来源诊断见 2B 训练与交付记录,各 checkpoint 结果见 训练过程 checkpoint 评测。
归属、许可与引用
模型权重保留基础 Qwen3.5-2B 的 Apache-2.0 LICENSE。项目代码以 MIT 为主,RLCD 改编部分保留 Apache-2.0;原文与声明见 LICENSES/ 和 THIRD PARTY NOTICES.md。数据许可按来源分别适用,模型交付不授予数据再分发权利。
方法参考 hmm,RLCD 与数据参考 Chinese-Jev。本项目没有复现 Jev 或 Chinese-Jev 的训练过程。使用数据或基线时请同时引用 Chinese-Jev 论文。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
