模型介绍
中文整理Kimi-K3-INT4
本仓库由海光信息(Hygon)发布,基于 Moonshot AI 的
Kimi-K3 进行 Per-Channel W4A16 量化。
上游模型及相关材料的版权归原权利人所有,本模型沿用 Kimi K3 License。
三个数据集的 INT4 精度均由发布人员确认;上游模型未测试。
slimquant 版本未记录;验证镜像标识和原始评测报告未提供。
- 基本信息
项目 内容
- -- ---
模型仓库 hygon/Kimi-K3-INT4
上游模型 moonshotai/Kimi-K3
原模型开发者 Moonshot AI
模型类型 多模态生成模型
量化类型 W4A16
权重量化 INT4,Per-Channel
模型量化激活精度 A16;实际验证启用 W4A8 后端,见测试步骤
量化工具及版本 slimquant(版本未记录)
验证硬件 BW1100 × 16
推理框架 SGLang 0.5.18
验证镜像及构建版本 待发布人员补充
许可证 Kimi K3 License
W4A16 描述量化目标层的权重和激活精度,不表示所有模型张量均为 INT4。
是否保留部分层的高精度权重,以实际量化配置为准。
本页仅列出已提供的文本任务评测分数,不代表多模态能力已经完成验证。
- 测试步骤
- 1 验证环境与服务
实际验证硬件为 BW1100 × 16,采用两节点 TP16,框架为 SGLang 0.5.18。
需使用支持下列 HCU 后端及 DSPARK 参数的适配环境;验证镜像标识及精确构建版本未提供。
slimquant 版本未记录。本次测试启用 DSPARK,需另行准备匹配的 Kimi-K3-DSpark 草稿模型;草稿模型不包含在本仓库下载示例中。
以下根据发布人员提供的实际服务脚本整理,仅将模型路径、集群地址、网卡和节点编号参数化,并补齐日志中的 NODE RANK。
在两个节点分别执行,NODE RANK 分别设为 0、1;DIST INIT ADDR 均指向节点 0 的可达地址和同一端口。各节点网卡及 IB 设备按实际环境设置。
量化格式与验证运行配置的区别:** 发布人员确认模型采用 Per-Channel W4A16 量化;本次实际服务配置使用 slimquant w4a8 marlin 并设置 SGLANG USE INT4 W4A8=1 ,同时使用 FP8 KV cache 和 DSPARK。下表分数对应这套服务配置,不能表述为已验证所有算子始终以 A16 执行,也不是关闭推测解码的独立对照结果。
- 2 精度评测
发布人员确认使用 EvalScope 脚本评测本 INT4 模型,三个数据集均已测试。
以下为根据该脚本整理的公开命令:脱敏模型和数据路径,并显式启用三个数据集;不是历史日志中的原始命令快照。
bash
MODEL PATH=/path/to/model
DATA ROOT=/path/to/eval datas
API URL=http://127.0.0.1:11010/v1
此命令在节点0执行;远程评测时改为节点0的服务地址。
for DATASET in humaneval gsm8k math 500; do
MAX TOKENS=13312
if [ "$DATASET" = math 500 ]; then
MAX TOKENS=20480
fi
DATASET ARGS=$(python3 - "$DATASET" "$DATA ROOT"
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
