DeepSeek-R1-1.5B-Qwen-MNN

DeepSeek-R1-1.5B-Qwen-MNN

本仓库是从 deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B 转换的 MNN HQQ 4-bit 推理模型。

导出日期：**2026-11-09**；导出版本：**MNN 3.6.2**；源码提交： b0239771b07b317a258fbc384683bbd540741406 。

• *发布限制：这是人工接受的发布，不是自动精度检查全通过。** 源模型 / 导出器 FP32 对齐通过，但 x64 CPU 低内存、高精度配置下的 greedy 短翻译精度检查失败， refresh metadata.json 保留 validation.passed=false 。发布者实测后表示“我测试了一下 精度可以接受的”，并选择了随包的 0.8 温度 / 1.0 重复惩罚配置。
• *不宣称修复移动端 F/f 重复问题。** 该问题未在本主机复现，也未由本次发布验证修复；默认采样结构性冒烟通过不等于完整精度通过。

原始模型介绍

DeepSeek-R1-Distill-Qwen-1.5B 是基于 Qwen2.5-Math-1.5B、使用 DeepSeek-R1 生成的推理数据微调得到的稠密蒸馏模型，面向推理、数学与代码等任务。它不是完整 DeepSeek-R1 的 MoE 架构；上游推理能力介绍及评测不能直接移植为本量化包的精度承诺，本包仍有上述已知自动检查失败项。

项目 本包信息

• -- ---

原始模型 deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

输入 / 输出 文本 / 文本

架构 / 语言层数 稠密、仅解码器 Transformer / 28

语言主干线性权重 HQQ 4-bit，分组大小 64

LM 输出头 HQQ 4-bit，分组大小 64

线性 / LM 量化尺度存储 FP16（ scale bit=16 ）

输入嵌入 独立 embeddings int4.bin ，4-bit、分组大小 64，不与 LM 输出头绑定

输入嵌入尺度存储 FP32，与语言线性 / LM 的 FP16 尺度不同

下载

优先使用 ModelScope，下载全部文件到同一目录：

也可通过 Hugging Face 镜像下载：

务必一起更新模型图、外部权重、int4 嵌入、分词器、模板和配置。加载前清理旧模型、权重及 KV 缓存；不要混用不同修订的文件，尤其不要把旧采样配置或旧嵌入偏移复制到本包。

MNN 版本与编译

本包要求 **MNN 3.6.2 或更新版本**及 Transformer 融合支持，旧版运行时或应用需先升级。准备 Git、CMake 和 C++ 编译工具链，在同一个工作目录执行以下命令，固定到实际导出提交：

转换方法

使用上述固定提交的导出器及其依赖清单，下载真正的蒸馏源模型，而不是按 MNN 仓库简称猜测源 ID；输出到全新的目录：

本包 tie word embeddings=false 、 seperate embed=false ；独立 int4 输入嵌入由 embed bit=4 导出，无需添加 --seperate embed 。其 FP32 嵌入尺度不受线性权重 scale bit=16 描述替代。C4、QKV / gate-up 投影与归一化投影融合在该提交默认启用，无需额外开关。

完整参数见 export args.json，来源哈希、测试及人工接受记录见 refresh metadata.json。示例下载上游当前快照；来源修订和 sha256: 溯源值不能随意作为 ModelScope 下载修订号。重新导出不保证字节一致，也不保证自动得到发布者选择的运行配置；请保持整套新权重、模板与配置一致，不能复制旧权重偏移。

推理与测试

发布者选择的配置

config.json 使用 CPU、4 线程、 precision=low 、 memory=low ，采样器为 mixed 。发布者选择的是实测转换目录中的以下设置，而非旧发布默认的 temperature=0.6 / repetition penalty=1.1 ：

参数 本次发布值

• -- ---

temperature 0.8

repetition penalty 1.0

top k 40

top p 0.9

min p 0.05

其他设置以随包配置为准；请保留 llm config.json 的 DeepSeek 聊天模板，不要替换为通用 Qwen 模板。

输出可能含思考内容。 llm bench 命令仅演示本地测量，参数为 128 个输入 token、32 个生成 token；本卡未发布性能测量。

已验证结果与未通过项

2026-11-09 的验证平台仅为 **x64 CPU**，请区分不同条件与检查目标：

检查 结果与范围

• -- ---

源模型 / 导出器 FP32 prefill、decode 对齐 通过；不代表量化模型逐 token 对齐

聊天模板、输入 token ID、自然 EOS、外部权重完整性 结构检查通过

低内存、高精度 greedy 文本检查 中文问候、算术、长上下文翻译通过；**短翻译精度失败**

长上下文翻译用例 895 个 prompt token，约 900-token 级；不是最大上下文验证

本次 0.8 / 1.0 配置的默认采样冒烟 四个文本用例的结构性检查全部通过；**不是全面精度检查**

validation.passed=false 与短翻译失败报告仍完整保留。人工接受针对确切转换产物与所选配置，不改变失败记录，也不能概括为“全部精度测试通过”。旧默认 0.6 / 1.1 配置的长输入重复报告保留在 previous published default sampling smoke ，不将更换采样配置解释为已定位或修复问题原因。

移动端 F/f 重复问题未在本主机复现，**本发布不宣称修复**。ARM CPU FP16、Metal、OpenCL、Vulkan、CUDA 以及音频、视频均未验证。上述检查不构成全面精度或性能基准，不承诺与未量化模型输出完全相同；重要推理结论与翻译结果请独立核实。

许可证与来源

模型沿用上游 **MIT License**，全文见 LICENSE。转换与量化不改变上游权利归属，再分发时须保留相应版权及许可声明。

来源与参数：原始模型 · export args.json · refresh metadata.json。

工具与用法：MNN 导出器 · MNN-LLM 文档。