模型介绍
中文整理- **YanYuCloudCube***
- 言启象限 语枢未来*
- **Words Initiate Quadrants, Language Serves as Core for Future***
- 万象归元于云枢 深栈智启新纪元*
- **All things converge in cloud pivot; Deep stacks ignite a new era of intelligence***
Qwen3-Coder-30B-A3B-Q4 K M
模型信息
属性 值
- ----- -----
- *模型名称** Qwen3-Coder-30B-A3B-Instruct-Q4 K M
- *基座模型** Qwen3-Coder-30B-A3B-Instruct
- *厂商** 阿里通义千问 (Alibaba Qwen Team)
- *架构** MoE (Mixture-of-Experts)
- *总参数** 30B
- *激活参数** 3B / token
- *专家数** 128路由 + 8激活
- *量化格式** GGUF · Q4 K M
- *许可证** Apache 2.0
- *原生上下文** 262,144 tokens (256K)
- *YaRN扩展** 最高 1,000,000 tokens
文件清单
文件 大小 说明
- ----- ------ ------
Qwen3-Coder-30B-A3B-Q4 K M.gguf 17 GB Q4 K M 量化模型文件
量化说明
Q4 K M 是一种均衡量化策略:
- *Q4**:权重主矩阵量化为 4-bit
- *K M**:关键矩阵使用中等精度保留
- *体积压缩**:BF16 原始 ~60GB → Q4 K M ~17GB(压缩率 ~72%)
- *质量损失**:相比 BF16 约 2-5% 性能下降,编码任务影响极小
- *推理速度**:因显存占用减少,实际推理速度反而可能更快
硬件需求
平台 最低显存/内存 推荐 说明
- ----- ------------- ------ ------
Apple M4 Max (128G) ~10 GB ✅ 本地流畅运行
Apple M4 (32G) ~10 GB ✅ 可运行
NVIDIA RTX 4080 (16G) ~10 GB ✅ 单卡可运行
NVIDIA RTX 4090 (24G) ~10 GB ✅ 单卡流畅
NVIDIA DGX Spark (128G) ~10 GB ✅ 极速推理
快速部署
Ollama(推荐)
bash
创建 Modelfile
cat > Modelfile 「***YanYuCloudCube***」
「******」
「***Words Initiate Quadrants, Language Serves as Core for the Future***」
「***All things converge in cloud pivot; Deep stacks ignite a new era of intelligence***」
© 2025-2026 YYC³ Team. All Rights Reserved.**
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
