模型介绍
中文整理Qwen3-Coder-30B-A3B-Instruct-MNN
本仓库是从 Qwen/Qwen3-Coder-30B-A3B-Instruct 转换的 MNN HQQ 4-bit 推理模型。
原始模型介绍
Qwen3-Coder-30B-A3B-Instruct 是面向编程智能体和代码仓库级任务的 MoE 指令模型。原始介绍重点包含代码生成、工具集成和原生 256K 长上下文,并介绍了通过 YaRN 扩展上下文的方式;接入智能体时应保留其专用工具调用格式。
以上概述整理自原始模型 README。原始模型的能力及评测结论,与下文 MNN 冒烟测试的覆盖范围分别说明。
项目 内容
- -- ---
原始权重 Qwen/Qwen3-Coder-30B-A3B-Instruct
本包输入 / 输出 文本 → 文本
层数 48
路由专家数 128
每 token 选择专家数 8
语言模型线性层量化 HQQ, 4-bit, group size 64, FP16 scales
Token Embedding 存储 BF16(16-bit),独立 Embedding 权重
下载
MNN 版本与编译
MNN: 7337404b2815b5fb9ddac13f4ac6a1fb37fcbbb4
该版本已包含本次转换使用的 MoE 导出修复。Linux CPU 编译示例:
转换方法
量化参数与 export args.json 一致。下载原始权重后,使用上述版本导出:
重新导出后复用本包已验证的 tokenizer 和对话模板,保留新生成的权重偏移及其他模型参数:
bash
python -
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
