Qwen3.6-35B-A3B-DSV4Pro-Thinking-Distill

Qwen3.6-35B-A3B-DSV4Pro-Thinking-Distill

在 **Qwen3.6-35B-A3B**(MoE,3B 激活)上,用 LoRA **蒸馏 DeepSeek-V4-Pro 在「思考开启(thinking-on)」时的思维方式 + agentic 行为**。

⚠️ **与之前的「V4-Pro 蒸馏」版本区分**:上一版蒸的是答案/无思考风格;**这一版蒸的是 thinking-on 的多步推理与自我验证思维方式**——目标是「学会怎么想」,不是蒸知识或扩能力。

出发点:为 **Lynn Agent** 选/造一个「编排器」——能**快速 拆分→分派→验收**任务、且**不乱报完成**的模型。

训练配置(如实披露)/ Training details

• *基座 Base**:Qwen3.6-35B-A3B(**BF16** 基座;bnb-4bit 在该 MoE 结构上不可用,故未走 4-bit)
• *方法 Method**:**LoRA**,**r = 64,α = 128,dropout = 0.05**,target = 全部注意力 + MLP 投影(q/k/v/o proj、gate/up/down proj 等)
• *优化**:paged adamw 8bit,cosine LR,warmup 0.03,**约 1 epoch**
• *Teacher**:DeepSeek-V4-Pro
• *数据 Data**:**1842 条蒸馏样本**(DS-V4-Pro 的 thinking-on 多步推理轨迹 + agentic 工具调用轨迹,Lynn 工程域)
• *产物**:合并 → BF16 safetensors → Q4 K M-imatrix gguf

方法非自创,是公开技术的组合(如实归因)/ Attribution

• *ReAct**(推理+行动交替):Yao et al., **2022**, arXiv:2210.03629(ICLR 2023)
• *Self-Instruct / Baize 自对话数据**:Wang et al., 2022;Xu et al., 2023, arXiv:2304.01196
• *AgentTuning**:Zeng et al., 2023, arXiv:2310.12823
• *ToolBench / ToolLLM**:Qin et al., 2023, arXiv:2307.16789
• *DeepSeek-R1 推理蒸馏**:DeepSeek-AI, 2025, arXiv:2501.12948

评测:同一 harness,thinking-on,**Q4 K M GGUF(imatrix)**,vs 原版 Qwen3.6-35B-A3B

维度 本模型(蒸馏) 原版 base Δ

• -- --- --- ---

MMLU-500 (5-shot) **90.2%** 91.4% -1.2

GPQA-Diamond-198 **80.3%**(32K) 72.7% **+7.6**

编排成功 (20 复杂任务) 19/20 20/20 -1

编排 false-verify(自报≠真实) **0/20** 0/20 0

GPQA 未收口空答 (parse fail) **1** 12 **-11**

解读**:知识广度基本不变(MMLU 持平),**硬推理显著提升(GPQA +7.6pp)**,且**「想完就收口」—— GPQA 未收口的空答从 12 降到 1**。这正是 thinking-on 思维方式被学到的标志:推理更果断、能终止、能自我验证(编排 **0 假验证**)。

评测口径 / Eval protocol

thinking-on;**评测精度 = Q4 K M GGUF(imatrix),蒸馏与原版同口径**;**temp 0.6 / top p 0.95**(thinking 模型必需,greedy 会重复死循环);max tokens 30000;read-timeout 600s;MMLU 抽取器对「few-shot 序列回显」做了「取最终字母」修正,且**同口径作用于所有对比模型**。

局限 / Limitations

agentic 轨迹部分来自**模拟环境**(sim-to-real gap);评测为**同一 harness 内部对比**,数值**不可直接对标官方榜单**(官方 BF16 thinking-on:MMLU-Pro 85.2 / GPQA 86.0,口径不同)。

文件 / Files

• .safetensors — BF16 合并权重(SGLang / vLLM / transformers)

gguf/*-Q4 K M-imatrix.gguf — llama.cpp 量化(~20G,单流最快)

推理 / Inference

thinking-on,务必 temp=0.6, top p=0.95 (切勿 greedy)。llama.cpp 用 Q4 K M gguf + --jinja ;SGLang/vLLM 用 safetensors。

MTP 投机解码 / MTP speculative decoding

BF16 / FP8 safetensors 及 GGUF 全四档(Q4/Q5/Q6/Q8)均已内置原生 nextn MTP 头。**

safetensors(vLLM / SGLang)**:传入 --speculative-config '{"method":"mtp","num speculative tokens":3}' 启用。SGLang 实测 accept 0.71–0.87;FP8 单流 base 51 → MTP 65 t/s(~1.25×)。⚠️ A3B 为稀疏模型,单流增益受密度定律限制(远低于 dense 27B 的 ~2×)。

GGUF(llama.cpp,全四档焊 MTP + imatrix 校正)**:需 mainline llama.cpp + --spec-type draft-mtp --spec-draft-n-max 3 启用。DGX Spark GB10 单流实测(server 多请求均值):

量化档 base t/s MTP t/s 加速

• ------- --------- -------- ------

Q4 K M 79.2 86.3 1.09×

Q5 K M 73.0 88.0 1.20×

Q6 K 66.0 75.2 1.14×

Q8 0 49.8 81.2 1.63×

base 越慢(档位越大)MTP 增益越大。⚠️ **LM Studio / Ollama / Jan 等 GUI 暂不支持嵌入式 nextn MTP**(其"投机解码"功能挂的是独立 draft 模型),加载后以 base 模式运行(可正常使用,无 MTP 加速);MTP 加速仅在 mainline llama.cpp CLI 启用 --spec-type draft-mtp 时生效。

Both **BF16/FP8 safetensors and all four GGUF quants (Q4/Q5/Q6/Q8)** bundle the native nextn MTP head.

• *safetensors (vLLM/SGLang)**: enable via --speculative-config '{"method":"mtp","num speculative tokens":3}' (SGLang-measured accept 0.71–0.87; FP8 single-stream 51→65 t/s, ~1.25×). A3B is sparse, so single-stream gain is bounded by the density law (far below dense 27B's ~2×).
• *GGUF (llama.cpp)**: needs mainline llama.cpp + --spec-type draft-mtp --spec-draft-n-max 3 . Spark GB10 single-stream (server multi-request avg): Q4 K M 79.2→86.3 (+9%) / Q5 K M 73.0→88.0 (+20%) / Q6 K 66.0→75.2 (+14%) / Q8 0 49.8→81.2 (+63%) — the slower the base quant, the larger the MTP gain.

⚠️ **LM Studio / Ollama / Jan and most GUIs don't support the embedded nextn MTP** (their "speculative decoding" attaches a separate draft model) — the GGUF loads and runs in base mode (works, no MTP speedup). MTP only applies with mainline llama.cpp CLI --spec-type draft-mtp .