All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

Qwen3.8-0.8B-Distill

conanfans/Qwen3.8-0.8B-Distill

Publisherconanfans

Download access requirementsModelScope source

Qwen3.8-0.8B-Distill 将 Qwen3.8-Max 的推理能力全参蒸馏进 Qwen3.5-0.8B 的单卡复现实验。 Qwen3.8-0.8B-Distill 是把 Qwen3.8-Max(蒸馏数据来源)的推理轨迹,通过全参数 SFT 蒸馏进 Qwen3.5-0.8B 架构的成果。训练数据为 r0b0tlab/qwen3.8-max-distillation-50k 的 train split 全量 44,796 条教师推理轨迹(math 33% / cod

ReasoningVision & Language
Model details

模型介绍

中文整理

Qwen3.8-0.8B-Distill

将 Qwen3.8-Max 的推理能力全参蒸馏进 Qwen3.5-0.8B 的单卡复现实验。

Qwen3.8-0.8B-Distill** 是把 **Qwen3.8-Max**(蒸馏数据来源)的推理轨迹,通过全参数 SFT 蒸馏进 **Qwen3.5-0.8B** 架构的成果。训练数据为 r0b0tlab/qwen3.8-max-distillation-50k 的 train split 全量 **44,796 条**教师推理轨迹(math 33% / code 28% / reasoning 24% / instruction 15%,84% 含 推理段),轨迹由 Qwen3.8-Max 生成并带质量分标注。

目标:把教师模型的推理课程装进更小的身体,跑在消费级硬件上。

Highlights

  • *蒸馏思维链** — 回答以 推理段开篇的能力直接学自 Qwen3.8-Max 轨迹,非自我生成
  • *全参微调** — 每个参数都更新了,不是 adapter;bf16 权重约 1.4GB
  • *低成本可复现** — 消费级单卡(WSL2)约 7.5 小时完成训练
  • *262,144-token 原生上下文**,继承自 Qwen3.5 base
  • *双协议评测** — 同时给出标准对话协议与 lm-eval 裸补全协议的对照数据,避免"卷子不同"造成的误读

Model Overview

Type: Causal LM(Qwen3.5 多模态 base 的文本路径,本次微调仅用文本)

Base: Qwen/Qwen3.5-0.8B

Parameters: 0.8B

Training: 全参 SFT(off-policy 蒸馏),seq 4096,有效 batch 32,lr 1e-5 cosine,2 epochs,44,796 条

Teacher: Qwen3.8-Max(经 r0b0tlab/qwen3.8-max-distillation-50k 数据集)

Context Length: 262,144(继承)

Hardware: 消费级单卡,WSL2 + flash-linear-attention 快速内核,约 7.5 小时

Benchmark Results

主评测:**EvalScope 1.11.1 + vLLM 0.29.0**,标准对话协议(chat 模板 + few-shot CoT),temperature=0,全量测试集。基线与蒸馏模型设置完全一致。

任务 Qwen3.5-0.8B (base) **Qwen3.8-0.8B-Distill** Δ

  • -- ---: ---: ---:

GSM8K (CoT, 4-shot, 1319 题) 49.28 **56.56** **+7.28**

MMLU (CoT, 5-shot, 14042 题) 49.34 **49.82** +0.48

协议敏感性对照:另用 **lm-evaluation-harness** 同款协议( gsm8k cot 8-shot / mmlu flan cot zeroshot 0-shot,temperature=0.6, top p=0.95, top k=20 采样,exact match flexible-extract 口径,与社区 Qwen3.8-2B 蒸馏项目所用的评测协议一致)复测:

任务 base **Distill** Δ

  • -- ---: ---: ---:

gsm8k cot (flexible) 0.350 **0.416** +0.066

mmlu flan cot zeroshot (flexible) 0.238 **0.409** +0.171

⚠️ **协议说明**:裸补全 0-shot 协议对 base 模型的格式极不友好(strict-match 基线接近 0,大量样本因 "The answer is 4" ≠ 标准登记 "(A)" 被判错,或陷入复读未输出答案)。跨论文比较分数时请务必确认协议一致,详见下方 Best Practices。

蒸馏主要提升的是**数学推理**(与数据构成一致,math 域占 33%,STEM 涨幅最大);MMLU 知识广度基本持平——推理轨迹蒸馏"炼"的是推理过程,不是知识本身。

Quickstart

以下代码在本仓库权重上实测通过(transformers 5.9 + modelscope 下载):

注意: generate 需显式传 input ids / attention mask (部分 transformers 版本对 chat template 返回对象的解包不兼容); max new tokens 建议给足,长生成推荐 8192。

需要支持 Qwen3.5(Gated DeltaNet 混合架构)的近期 transformers 版本,以及快速内核 flash-linear-attention 与 CUDA 匹配的 causal conv1d ——缺失时会静默回退到极慢的纯 torch 路径(实测差数百倍)。Windows 原生环境建议直接用 WSL2。

Best Practices

  • *采样**: temperature=0.6, top p=0.95, top k=20 ;长生成下贪心解码存在复读循环风险(base 模型尤甚)
  • *输出长度**:给足 max new tokens (推荐 8192+);回答可能以 ... 开篇,面向终端用户时请解析并剥离该段
  • *评测提示**:做 MMLU/GSM8K 评测时请使用对话模板 + few-shot CoT 协议,并注明协议;裸补全 0-shot 协议会系统性低估该模型
  • *边界**:蒸馏轨迹以数学、推理、指令跟随为主(无代码域专精,tool use 仅 0.3%);知识广度类任务(MMLU)与基线基本持平;视觉行为继承自 base,本次未做评测与训练

Provenance & licensing

权重以 **Apache-2.0** 发布(继承自 Qwen3.5-0.8B base),按"原样"共享,仅供研究实验使用。

Acknowledgements

Base model: Qwen/Qwen3.5-0.8B(阿里 Qwen 团队)

蒸馏数据: r0b0tlab/qwen3.8-max-distillation-50k(Qwen3.8-Max 推理轨迹)

训练: Transformers Trainer + flash-linear-attention(快速内核)

评测: EvalScope + vLLM + lm-evaluation-harness

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top