模型介绍
中文整理Qwen3.6-35B-A3B APEX I-Balanced + **Native MTP head**(Lynn 推荐 server-grade 本地版)
这是 Qwen3.6-35B-A3B 的 **APEX I-Balanced 量化** + **MTP head 完整保留**版,在 Lynn GB10 Spark 上实测 **think-on 长链 75-85 TPS**(无 MTP baseline ~66 TPS),适合 24GB+ 显存 / 32GB+ 内存的本地高质量推理。
定位:**端侧 35B 主力,质量接近 BF16,MTP 加速 30% 在 thinking 场景**。
English summary: this is the Qwen3.6-35B-A3B model with APEX adaptive-precision MoE quantization (I-Balanced variant) **with the vendor-shipped MTP (Multi-Token Prediction) head preserved** for use with llama.cpp --spec-type draft-mtp . Lynn-benchmarked on NVIDIA GB10 Spark (sm 121). Pairs with the lighter Lynn-9B-GGUF-imatrix release for the Lynn 4-quadrant matrix's heavyweight local tier.
文件 / Files
文件 大小 SHA256 备注
- -- ---: --- ---
Qwen3.6-35B-A3B-APEX-MTP-I-Balanced.gguf **24.27 GiB**(26.06 GB) 9bf7d96bb3a9d363e645dd998aee9e9bff8e016a82aec7ff081e0e6cdb53419e APEX I-Balanced 量化 + MTP head( blk.40.nextn.eh proj/enorm/hnorm/shared head norm )
量化来源:本仓库 GGUF 来自社区 APEX-quant 流程(adaptive-precision MoE),Lynn **未重新量化**,只做 Spark TPS / 集成验证 + 双语 README + 发布镜像。原始量化产物归属社区 APEX-quant project。
为什么选这一档
35B-A3B(35B 总参数 / 3B active expert)是 Qwen 在 2025 端侧推理性价比之王:
- *active 3B params** → decode 速度跟 dense 3-4B 接近(GB10 Spark 单流 60+ TPS)
- *total 35B + 256 experts** → quality 大幅超越同 active 参数 dense 模型
- *APEX I-Balanced** 量化:重要 expert 高精度,边缘 expert 更激进,体积 24GB 适合 32GB+ 内存设备
- *vendor MTP head 保留**:llama.cpp --spec-type draft-mtp 自动启用 single-stream speculative decoding,thinking 长链路再 +29%
TPS 实测 / Throughput Benchmarks
NVIDIA GB10 Spark(sm 121), llama.cpp build-cuda-sm121 commit b1-5d44db6, 2026-05-23。Single-stream decode TPS via llama.cpp built-in predicted per second timing。
本仓库(APEX-MTP, --spec-type draft-mtp 启用)
Scenario Cap Tokens generated Decode TPS Notes
- -- ---: ---: ---: ---
think-off 短答 1024 628 **59.70** typical chat reply(MTP 在短答场景略损耗,见解读)
think-off 中长 2048 1808 **61.95** sustained essay
- *think-on 数学题** 4096 2145 **84.69** ⭐ thinking reasoning
- *think-on 归纳证明** 16384 4213 **75.53** ⭐ math proof + Bayesian framing
vs 同硬件 APEX no-MTP 基线
Scenario APEX no-MTP APEX-MTP(本仓库) Δ
- -- ---: ---: ---:
think-off 1024 66.42 59.70 **-10%** ⚠️(MTP overhead > 收益)
think-on 4096 65.78 84.69 **+29%** ⭐
think-on 16K ~65 estimate 75.53 **+16%**
⚠️ 何时启用 MTP
启用**: thinking enabled=true 长链路 reasoning,coding 长输出,长 prompt → +20-30% TPS。
关闭** ( --spec-type none ):short chitchat / think-off 短答 / tool-call only → MTP 反而 -10%,因为 high-confidence n-gram 命中率低。
Lynn client v0.80+ 会根据 chat template kwargs.enable thinking flag 自动 toggle。
评测摘要 / Benchmark Summary
Vendor official Qwen3.6-35B-A3B BF16:
MMLU 5-shot: **86.40**
GPQA Diamond thinking-on 32K: ~86 (vendor reports)
AIME / Math: 80+
Lynn 内部 Q4 K M-imatrix 同模型实测(memory reference qwen36 35b release numbers 20260519 ):
MMLU 500 thinking-off: **83.00%**
GPQA Diamond 198 thinking-off: **50.00%**
thinking-on 32K 数据更高(待补)
APEX-MTP-I-Balanced quality 跟 Q4 K M-imatrix 同档(都是 ~Q4 bit-depth),MTP head 只加速,不改 quality。
本地使用 / Local Usage
显存预算**:模型 24GB + KV cache(32K ctx, q8 0)~8GB ≈ **32GB GPU/unified mem**。
OpenAI-compatible endpoint:
MTP 验证 / MTP Verification
llama-server 启动 log 出现以下行确认 MTP active:
n embd=2048 是 Qwen3.6-35B-A3B active expert hidden size(9B 同 head 是 n embd=4096 )。
来源 / Provenance
- *基座 Qwen3.6-35B-A3B**:Alibaba Qwen 团队官方发布,Apache 2.0
- *APEX 量化**:社区 mudler/apex-quant "Adaptive Precision for MoE" 流程,I-Balanced variant(重要 expert 高精度 / 边缘 expert 激进)
- *MTP head**:Qwen 官方训练,保留进 GGUF
- *llama.cpp MTP 支持**:upstream src/models/qwen35moe.cpp 的 graph mtp 实现
- *Lynn 工作**:Spark TPS benchmark + 集成 + 双语 README + MS/HF 镜像发布
License
Apache-2.0,inherits from base model Qwen/Qwen3.6-35B-A3B . APEX quantized weights distributed under the same Apache 2.0 license per base model terms.
Last updated: 2026-05-23. v1 APEX-MTP release with Lynn TPS benchmarks. Lynn project: https://github.com/MerkyorLynn/Lynn*
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
