Hy-MT2-30B-A3B-APEX-GGUF

Hy-MT2-30B-A3B-APEX-GGUF

基于腾讯 Hy-MT2-30B-A3B 模型的 APEX 系列 GGUF 量化版本。

本仓库提供三个不同定位的 APEX 量化版本，适用于不同显存和质量需求，由 **alphaZimuth** 量化。

更新日志

• *2026-7-14**

上传 APEX 量化初版。

• *2026-7-15**

修复 hy v3 架构兼容性问题，支持官方 llama.cpp b9993+。

• *2026-7-19**

新增基于 imatrix 校准的 APEX-Imatrix-I 系列，并加入面向低显存设备的 Nano 版本。

推荐版本

目前推荐使用 **APEX-Imatrix-I 系列**。

相比最初发布的 APEX-I 系列，该系列使用 imatrix.dat 进行了 importance matrix 校准。

本次校准使用面向多语言翻译任务的校准数据集生成，最终校准水平：**PPL = 2.1519 +/- 0.00207**

实际测试表明，经过 Imatrix 校准后的版本相比未校准版本，在翻译质量和输出稳定性方面均有明显提升。

评测采用相同测试文本进行平行翻译对比，对比 Imatrix 校准版本与未校准版本的实际输出结果。

同时使用多个先进大语言模型作为辅助评估器，包括 GLM、DeepSeek、GPT、Qwen 和 LongCat，从翻译准确性、语言流畅度、表达自然度等多个维度进行评价。

在多轮对比评估中，上述模型均一致倾向于认为 Imatrix 校准版本具有更高的翻译质量。

原始 APEX-I 系列将保留作为历史版本和对比用途。

可用量化版本

推荐使用: APEX-Imatrix-I 系列量化

文件 大小 描述

:--- ---: :---

Hy-MT2-30B-A3B-APEX-Imatrix-I-Nano.gguf 11.5 GB 面向低显存用户的轻量版本，在降低资源需求的同时保持较高翻译质量。

Hy-MT2-30B-A3B-APEX-Imatrix-I-Compact.gguf 14.0 GB 优化质量与体积比例，适合显存受限设备

Hy-MT2-30B-A3B-APEX-Imatrix-I-Quality.gguf 19.0 GB 注重质量保持，适合追求更高精度的场景

Hy-MT2-30B-A3B-APEX-Imatrix-I-Balanced.gguf 20.8 GB Balanced 档位，适合优先考虑整体质量的用户

遗留: 原 APEX-I 系列

以下版本仅用于对比存档:

文件 大小 描述

:--- ---: :---

Hy-MT2-30B-A3B-APEX-I-Compact.gguf 14.0 GB 原始未校准量化

Hy-MT2-30B-A3B-APEX-I-Quality.gguf 19.0 GB 原始未校准量化

Hy-MT2-30B-A3B-APEX-I-Balanced.gguf 20.8 GB 原始未校准量化

量化信息

使用：

APEX（基于 llama.cpp）**

项目： https://github.com/localai-org/apex-quant

转换流程：

Tencent Hy-MT2-30B-A3B (BF16)

↓

convert hf to gguf.py (hy3-port)

↓

Hy-MT2-30B-A3B-BF16.gguf

↓

APEX quantization (with imatrix)

↓

APEX GGUF

注意：

本版本量化使用了 imatrix 校准。

文件命名遵循 APEX tier 命名规则。

llama.cpp 支持说明

！！！！重要 ！！！！**

Hy-MT2-30B-A3B 使用 **Hy v3** 架构。

官方 llama.cpp 已从 **b9993** 版本开始合并 hy v3 支持。

请使用 b9993 或更新版本的 llama.cpp 进行推理。

相关 PR：

https://github.com/ggml-org/llama.cpp/pull/25395

使用方法

性能测试

测试环境：

CPU：Intel Core i7-12700H

GPU：NVIDIA RTX 3060 Laptop GPU 12GB

内存：24GB

参数：

• ngl 99
• b 2048
• ub 2048
• t 12

最佳 --n-cpu-moe 数值（基于RTX3060 12GB）应用于各量化版本：

量化 大小 n cpu moe PP512 TG128

:--- ---: ---: ---: ---:

APEX-Imatrix-I-Nano 11.59 GiB 4 1224.25 tok/s 71.92 tok/s

APEX-Imatrix-I-Compact 14.00 GiB 13 835.57 tok/s 56.16 tok/s

APEX-Imatrix-I-Quality 19.05 GiB 25 520.03 tok/s 33.49 tok/s

APEX-Imatrix-I-Balanced 20.81 GiB 26 463.11 tok/s 28.93 tok/s

🚀 实验性投机解码草稿模型

对于拥有足够显存、希望探索推理优化的用户，本项目提供了一个基于 Hy-MT2-1.8B 改造的 speculative decoding 草稿模型：

👉 **Hy-MT2-1.8B-SpecDraft-30B**

该模型通过：

Hy-MT2-1.8B 与 Hy-MT2-30B-A3B 词表对齐

embedding / lm head 均值 padding 扩展

GGUF 转换与 llama.cpp 兼容优化

实现作为 Hy-MT2-30B-A3B 的 draft model 使用。

⚠️ **注意：该项目为实验性质**

由于 Hy-MT2-30B-A3B 是 MoE 架构，仅激活约 3B 参数，单模型推理速度已经较快，因此 speculative decoding 不保证一定带来加速。

实际效果取决于：

GPU 显存情况

llama.cpp 版本

调度开销

draft acceptance rate

该项目主要面向：

大显存用户

llama.cpp 爱好者

对 MoE 投机解码感兴趣的研究测试用户

模型地址：

alphaZimuth/Hy-MT2-1.8B-SpecDraft-30B

致谢

Tencent Hy-MT2 团队提供原始模型。

LocalAI 团队提供 APEX 量化框架。

llama.cpp 社区提供 GGUF 支持。

HuggingFace 用户 **gigass03** 提出了 hy v3 架构 metadata 兼容性问题，并验证了修复方案。

License

Apache-2.0