闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

Kimi-K3-INT4

hygon/Kimi-K3-INT4

发布机构hygon

下载访问条件魔搭来源

本仓库由海光信息(Hygon)发布,基于 Moonshot AI 的 Kimi-K3 进行 Per-Channel W4A16 量化。 上游模型及相关材料的版权归原权利人所有,本模型沿用 Kimi K3 License。

图文理解
模型详情

模型介绍

中文整理

Kimi-K3-INT4

本仓库由海光信息(Hygon)发布,基于 Moonshot AI 的

Kimi-K3 进行 Per-Channel W4A16 量化。

上游模型及相关材料的版权归原权利人所有,本模型沿用 Kimi K3 License。

三个数据集的 INT4 精度均由发布人员确认;上游模型未测试。

slimquant 版本未记录;验证镜像标识和原始评测报告未提供。

  • 基本信息

项目 内容

  • -- ---

模型仓库 hygon/Kimi-K3-INT4

上游模型 moonshotai/Kimi-K3

原模型开发者 Moonshot AI

模型类型 多模态生成模型

量化类型 W4A16

权重量化 INT4,Per-Channel

模型量化激活精度 A16;实际验证启用 W4A8 后端,见测试步骤

量化工具及版本 slimquant(版本未记录)

验证硬件 BW1100 × 16

推理框架 SGLang 0.5.18

验证镜像及构建版本 待发布人员补充

许可证 Kimi K3 License

W4A16 描述量化目标层的权重和激活精度,不表示所有模型张量均为 INT4。

是否保留部分层的高精度权重,以实际量化配置为准。

本页仅列出已提供的文本任务评测分数,不代表多模态能力已经完成验证。

  • 测试步骤
  • 1 验证环境与服务

实际验证硬件为 BW1100 × 16,采用两节点 TP16,框架为 SGLang 0.5.18。

需使用支持下列 HCU 后端及 DSPARK 参数的适配环境;验证镜像标识及精确构建版本未提供。

slimquant 版本未记录。本次测试启用 DSPARK,需另行准备匹配的 Kimi-K3-DSpark 草稿模型;草稿模型不包含在本仓库下载示例中。

以下根据发布人员提供的实际服务脚本整理,仅将模型路径、集群地址、网卡和节点编号参数化,并补齐日志中的 NODE RANK。

在两个节点分别执行,NODE RANK 分别设为 0、1;DIST INIT ADDR 均指向节点 0 的可达地址和同一端口。各节点网卡及 IB 设备按实际环境设置。

量化格式与验证运行配置的区别:** 发布人员确认模型采用 Per-Channel W4A16 量化;本次实际服务配置使用 slimquant w4a8 marlin 并设置 SGLANG USE INT4 W4A8=1 ,同时使用 FP8 KV cache 和 DSPARK。下表分数对应这套服务配置,不能表述为已验证所有算子始终以 A16 执行,也不是关闭推测解码的独立对照结果。

  • 2 精度评测

发布人员确认使用 EvalScope 脚本评测本 INT4 模型,三个数据集均已测试。

以下为根据该脚本整理的公开命令:脱敏模型和数据路径,并显式启用三个数据集;不是历史日志中的原始命令快照。

bash

MODEL PATH=/path/to/model

DATA ROOT=/path/to/eval datas

API URL=http://127.0.0.1:11010/v1

此命令在节点0执行;远程评测时改为节点0的服务地址。

for DATASET in humaneval gsm8k math 500; do

MAX TOKENS=13312

if [ "$DATASET" = math 500 ]; then

MAX TOKENS=20480

fi

DATASET ARGS=$(python3 - "$DATASET" "$DATA ROOT"

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部