qwen3.8-flash-next-strata-bpw392

Qwen3.8-Flash-Next 适配 Strata 引擎（AP-IQ3 XXS / AP-IQ4 XS 双档）

为 **Strata 本地推理引擎**准备的即用模型资产，含两档量化：

档位 实测 bpw 定位

• -- --- ---
• *AP-IQ3 XXS** 3.9181 速度优先
• *AP-IQ4 XS** 4.0890 质量优先（专家 IQ4 NL 占 52%）

• *两档均可在 64 GB 内存的 PC 上完整运行**——专家全部常驻 RAM，零磁盘读，无需低内存预算模式。

⚠️ 模型权重版权归 Qwen 及各量化方（agentionai / unsloth）所有。本仓库遵循 **Qwen Community License 1.0** 发布并保留上游署名（全文见 LICENSE-Qwen-Community-1.0.txt ）。

• 实测数据（本仓库维护者环境）

硬件**：3× RTX 2080 Ti 11 GB（sm 75）+ 64 GB RAM

引擎参数（引擎 0.1.50，调优后）**：

• -max-context 256000 --kv int8 --kv-resident 20480 --spec 3 --spec-min-p 0.75 --resident-budget-gib 56 --pipeline-windows 2 --layer-split 14,33 --vram-reserve-mib 512 --vram-reserve-later-mib 512

• *调优要点**： --pipeline-windows 2 让三卡的验证窗口与下一层传输重叠（+45%）；把 --layer-split 从 auto 改成显式 14,33 ，使 --trim-stage-weights 真正生效（+12%）。两项合计把 decode 从约 50 tok/s 提升到 **75–81 tok/s**。

AP-IQ3 XXS 一列为**调优前**（ --layer-split auto + --pipeline-windows 0 ）的实测值，尚未在新参数下复测；

AP-IQ4 XS 一列为本次调优后的实测值。两者硬件与 prompt 相同。

指标 AP-IQ3 XXS（调优前） AP-IQ4 XS（调优后）

• -- --- ---

专家常驻 RAM 41.88 GiB **41.88 GiB**

• *稳定态剩余内存** **7.2 GB** **4.6 GB**（停靠池 3.5 GiB 开启时）

专家槽位（三卡合计） 9155 **10285**（3711 / 3499 / 3075）

• *decode（短 prompt，265 tok）** 51–52 tok/s **104.0 tok/s**（2026-10-28 复测）
• *decode（长 prompt，5.4K tok）** — **70.9–72.8 tok/s**

prefill（57K tokens） 未测 **1629.7 tok/s**

prefill（短 prompt，265 tok） — **558 tok/s**（2026-10-28 复测）

图片请求（800×600，CPU 视觉） 12 s 13 s

• *运行期磁盘读** **0** **0**

调优前后对比（AP-IQ4 XS，同机同 prompt，引擎日志 decode 口径）**：

配置 decode 中位

• -- ---

基线（ --layer-split auto + --pipeline-windows 0 ） 50.0 tok/s

+ --pipeline-windows 2 72.3 tok/s

+ 显式 --layer-split 14,33 （本次发布值） **81.3 tok/s**

长上下文表现**：5,426 token 的 prompt 下 decode 仍为 70.9–72.8 tok/s（基线同条件为 48.2–48.6 tok/s）。上下文长度对 decode 影响很小，主要开销在首轮 prefill。

2026-10-28 运行监控（AP-IQ4 XS）**：decode **104.0 t/s**、prefill（短 prompt）**558 t/s**，上下文占用 107K / 250K（42%），显存中的专家 10.255 / 22.2 GB，GPU 温度 52 ℃，运行期磁盘读 0。

IQ4 XS 以约 2.4 GiB 额外内存换取更高的量化精度。AP-IQ3 XXS 在新参数下的数据待复测补充（预期提升幅度相近）。

• 上游来源（权重出处与许可）

两档主模型的完整字节**均已包含在本仓库 models/ 中**，可直接使用；下表用于说明出处与校验。

用途 ModelScope 仓库 许可 源文件

• -- --- --- ---

主模型：**AP-IQ3 XXS** agentionai/Qwen3.8-Flash-Next-AP-GGUF Qwen Community 1.0 AP-IQ3 XXS/Qwen3.8-Flash-Next-AP-IQ3 XXS.gguf 86,672,420,736 B

主模型：**AP-IQ4 XS** 同上 Qwen Community 1.0 AP-IQ4 XS/Qwen3.8-Flash-Next-AP-IQ4 XS.gguf 90,447,294,368 B

视觉 mmproj ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF apache-2.0 mmproj-Qwen3.8-Flash-Next-Q4 K M.gguf （515,647,584 B）

token embd 源 unsloth/Qwen3.8-Flash-Next-GGUF （UD-IQ4 XS） 见上游 已提取为 embd/token-embd-iq4-xs.gguf

• 包内容

路径 体积 说明

• -- --- ---

models/Qwen3.8-Flash-Next-AP-IQ3 XXS.gguf 86.7 GB AP-IQ3 XXS 主模型（原始字节）

models/Qwen3.8-Flash-Next-AP-IQ4 XS.gguf **90.4 GB** **AP-IQ4 XS 主模型**（原始字节）

packs/ap-iq3-xxs/ 1.5 GB Strata pack（含 dense.bin / index.txt / compat-bf16.json / conversions.json / native experts.txt / tokenizer/ ）

packs/ap-iq4-xs/ **1.5 GB** **同上，IQ4 XS 版**

mtp/draft-q2-0.gguf 848 MB MTP 草稿层（Q2 0）

mtp/runtime/ 786 MB 引擎实际加载的 MTP 运行时件

embd/token-embd-iq4-xs.gguf 323 MB token embedding（供 --embd-gguf ）

chat template/chat template.jinja 12 KB 中文思考模板（ 内强制简体中文，effort 默认 low）

docs/quantization-precision-comparison.md — 逐层量化精度对比（三档）

SHA256SUMS — 大件校验值

本包**只含模型资产与模板**，不含引擎配置与运维脚本。

• 部署（两种档位任选其一）

引擎参数（以 IQ4 XS 为例，IQ3 XXS 把两处路径换成 ap-iq3-xxs / AP-IQ3 XXS 即可）：

参数 指向

• -- ---
• -pack packs/ap-iq4-xs
• -native .../AP-IQ4 XS/Qwen3.8-Flash-Next-AP-IQ4 XS.gguf
• -ple-gguf 同上（PLE 表在同一 GGUF 内）
• -embd-gguf embd/token-embd-iq4-xs.gguf
• -mtp mtp/runtime
• -max-context 256000 KV/状态容量
• -kv int8 --kv-resident 20480 KV 格式与显存常驻窗口

• 复现 pack

• -compat-bf16 会把 hyper-connection 等小体量非原生投影反量化为 BF16（引擎要求），专家与 PLE 表字节不变。**必须加此参数**，否则 pack 生成会报 is Q6 K/Q8 0, but the engine requires BF16 。

• 量化精度（逐层比特分配实测）

三档均为 **1224 张量 / 176.9 B 元素 / 48 层**，张量名与形状完全对应。数据来自 GGUF 头部静态解析（按相邻张量偏移差测真实字节占用），**不是质量结论**。

IQ3 S AP-IQ3 XXS **AP-IQ4 XS**

• -- ---: ---: ---:

数据区字节 77.87 GB 80.71 GB **84.24 GB**

• *整体实测 bpw** 3.7800 3.9181 **4.0890**

专家主要类型 IQ2 XS / IQ3 XXS 混合 IQ3 XXS + IQ4 NL **IQ4 NL (51.7%) + IQ3 S (45.5%)**

最低比特张量 2.25 (Q2 0) 3.0625 **3.0625**

逐层均匀性 跨度 1.875 bpw 完全均匀 均匀

要点**：

• *AP-IQ3 XXS**：全部 48 层 routed gate / up 恒为 IQ3 XXS(3.0625)、 down 恒为 IQ4 NL(4.5)，每层固定 3.5417 bpw，**不含任何 2-bit 张量**。
• *AP-IQ4 XS**：专家层升级为 IQ4 NL(4.5) 与 IQ3 S(3.4375) 混合，51 个 IQ4 NL 张量占 51.7% 参数（91.5 B），96 个 IQ3 S 占 45.5%（80.5 B）；另含 Q6 K 4.46 B、Q8 0 0.39 B。整体 bpw 较 IQ3 XXS **+4.4%**。
• *两档 non-expert 部分相同**：router F32、token embd Q6 K、shared/attn/ssm 多为 Q6 K/Q8 0。

⚠️ 以上为存储字节的静态分析，不含推理/困惑度/任务评测。两档**质量差异需端到端评测**，本包不做断言。

• 中文思考模板

chat template/chat template.jinja 为定制版：强制 块内输出简体中文（含规则与示例），reasoning effort 默认 low 。它同时被复制进 packs/*/tokenizer/chat template.jinja ，即引擎实际读取位置。

• 许可与致谢

• *模型权重**：Qwen（ Qwen/Qwen3.8-Flash-Next ）→ 量化：agentionai（AP 系列）、unsloth（UD-IQ4 XS，用于 token embedding）

本包中的**转换产物与配置**：遵循 **Qwen Community License 1.0** 发布，保留上游署名

若上游作者对再分发有额外要求，以其声明为准