All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

Qwen3.6-35B-A3B-APEX-MTP-GGUF

Merkyor/Qwen3.6-35B-A3B-APEX-MTP-GGUF

PublisherMerkyor

Download access requirementsModelScope source

Qwen3.6-35B-A3B APEX I-Balanced + Native MTP head(Lynn 推荐 server-grade 本地版) 这是 Qwen3.6-35B-A3B 的 APEX I-Balanced 量化 + MTP head 完整保留版,在 Lynn GB10 Spark 上实测 think-on 长链 75-85 TPS(无 MTP baseline ~66 TPS),适合 24GB+ 显存 / 32GB+ 内存的本地高质量推理。

Text Chat
Model details

模型介绍

中文整理

Qwen3.6-35B-A3B APEX I-Balanced + **Native MTP head**(Lynn 推荐 server-grade 本地版)

这是 Qwen3.6-35B-A3B 的 **APEX I-Balanced 量化** + **MTP head 完整保留**版,在 Lynn GB10 Spark 上实测 **think-on 长链 75-85 TPS**(无 MTP baseline ~66 TPS),适合 24GB+ 显存 / 32GB+ 内存的本地高质量推理。

定位:**端侧 35B 主力,质量接近 BF16,MTP 加速 30% 在 thinking 场景**。

English summary: this is the Qwen3.6-35B-A3B model with APEX adaptive-precision MoE quantization (I-Balanced variant) **with the vendor-shipped MTP (Multi-Token Prediction) head preserved** for use with llama.cpp --spec-type draft-mtp . Lynn-benchmarked on NVIDIA GB10 Spark (sm 121). Pairs with the lighter Lynn-9B-GGUF-imatrix release for the Lynn 4-quadrant matrix's heavyweight local tier.

文件 / Files

文件 大小 SHA256 备注

  • -- ---: --- ---

Qwen3.6-35B-A3B-APEX-MTP-I-Balanced.gguf **24.27 GiB**(26.06 GB) 9bf7d96bb3a9d363e645dd998aee9e9bff8e016a82aec7ff081e0e6cdb53419e APEX I-Balanced 量化 + MTP head( blk.40.nextn.eh proj/enorm/hnorm/shared head norm )

量化来源:本仓库 GGUF 来自社区 APEX-quant 流程(adaptive-precision MoE),Lynn **未重新量化**,只做 Spark TPS / 集成验证 + 双语 README + 发布镜像。原始量化产物归属社区 APEX-quant project。

为什么选这一档

35B-A3B(35B 总参数 / 3B active expert)是 Qwen 在 2025 端侧推理性价比之王:

  • *active 3B params** → decode 速度跟 dense 3-4B 接近(GB10 Spark 单流 60+ TPS)
  • *total 35B + 256 experts** → quality 大幅超越同 active 参数 dense 模型
  • *APEX I-Balanced** 量化:重要 expert 高精度,边缘 expert 更激进,体积 24GB 适合 32GB+ 内存设备
  • *vendor MTP head 保留**:llama.cpp --spec-type draft-mtp 自动启用 single-stream speculative decoding,thinking 长链路再 +29%

TPS 实测 / Throughput Benchmarks

NVIDIA GB10 Spark(sm 121), llama.cpp build-cuda-sm121 commit b1-5d44db6, 2026-05-23。Single-stream decode TPS via llama.cpp built-in predicted per second timing。

本仓库(APEX-MTP, --spec-type draft-mtp 启用)

Scenario Cap Tokens generated Decode TPS Notes

  • -- ---: ---: ---: ---

think-off 短答 1024 628 **59.70** typical chat reply(MTP 在短答场景略损耗,见解读)

think-off 中长 2048 1808 **61.95** sustained essay

  • *think-on 数学题** 4096 2145 **84.69** ⭐ thinking reasoning
  • *think-on 归纳证明** 16384 4213 **75.53** ⭐ math proof + Bayesian framing

vs 同硬件 APEX no-MTP 基线

Scenario APEX no-MTP APEX-MTP(本仓库) Δ

  • -- ---: ---: ---:

think-off 1024 66.42 59.70 **-10%** ⚠️(MTP overhead > 收益)

think-on 4096 65.78 84.69 **+29%** ⭐

think-on 16K ~65 estimate 75.53 **+16%**

⚠️ 何时启用 MTP

启用**: thinking enabled=true 长链路 reasoning,coding 长输出,长 prompt → +20-30% TPS。

关闭** ( --spec-type none ):short chitchat / think-off 短答 / tool-call only → MTP 反而 -10%,因为 high-confidence n-gram 命中率低。

Lynn client v0.80+ 会根据 chat template kwargs.enable thinking flag 自动 toggle。

评测摘要 / Benchmark Summary

Vendor official Qwen3.6-35B-A3B BF16:

MMLU 5-shot: **86.40**

GPQA Diamond thinking-on 32K: ~86 (vendor reports)

AIME / Math: 80+

Lynn 内部 Q4 K M-imatrix 同模型实测(memory reference qwen36 35b release numbers 20260519 ):

MMLU 500 thinking-off: **83.00%**

GPQA Diamond 198 thinking-off: **50.00%**

thinking-on 32K 数据更高(待补)

APEX-MTP-I-Balanced quality 跟 Q4 K M-imatrix 同档(都是 ~Q4 bit-depth),MTP head 只加速,不改 quality。

本地使用 / Local Usage

显存预算**:模型 24GB + KV cache(32K ctx, q8 0)~8GB ≈ **32GB GPU/unified mem**。

OpenAI-compatible endpoint:

MTP 验证 / MTP Verification

llama-server 启动 log 出现以下行确认 MTP active:

n embd=2048 是 Qwen3.6-35B-A3B active expert hidden size(9B 同 head 是 n embd=4096 )。

来源 / Provenance

  • *基座 Qwen3.6-35B-A3B**:Alibaba Qwen 团队官方发布,Apache 2.0
  • *APEX 量化**:社区 mudler/apex-quant "Adaptive Precision for MoE" 流程,I-Balanced variant(重要 expert 高精度 / 边缘 expert 激进)
  • *MTP head**:Qwen 官方训练,保留进 GGUF
  • *llama.cpp MTP 支持**:upstream src/models/qwen35moe.cpp 的 graph mtp 实现
  • *Lynn 工作**:Spark TPS benchmark + 集成 + 双语 README + MS/HF 镜像发布

License

Apache-2.0,inherits from base model Qwen/Qwen3.6-35B-A3B . APEX quantized weights distributed under the same Apache 2.0 license per base model terms.

Last updated: 2026-05-23. v1 APEX-MTP release with Lynn TPS benchmarks. Lynn project: https://github.com/MerkyorLynn/Lynn*

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top