闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

Step-5-Preview-Channel-FP8-w8a8

hygon/Step-5-Preview-Channel-FP8-w8a8

发布机构hygon

下载访问条件魔搭来源

Step-5-Preview-Channel-FP8-w8a8 本仓库提供 Step5 的 Channel FP8 W8A8 权重。上游模型与精度对照为 stepfun-ai/Step-5-Preview,它是官方 FP8 E4M3、128×128 per-block 模型。本仓库采用 static per-channel 权重与 dynamic per-token 激活量化。原有版权和归属保留,修改说明见 CHANGES.md。

图文理解
模型详情

模型介绍

中文整理

Step-5-Preview-Channel-FP8-w8a8

本仓库提供 Step5 的 Channel FP8 W8A8 权重。上游模型与精度对照为 stepfun-ai/Step-5-Preview,它是官方 **FP8 E4M3、128×128 per-block** 模型。本仓库采用 static per-channel 权重与 dynamic per-token 激活量化。原有版权和归属保留,修改说明见 CHANGES.md。

  • 基本信息

项目 内容

  • -- ---

上游模型 stepfun-ai/Step-5-Preview,官方 FP8 per-block

模型仓库 ID hygon/Step-5-Preview-Channel-FP8-w8a8

量化类型 FP8 W8A8,保留部分 BF16/FP32 张量

权重量化 Static、Per-Channel,FP8 E4M3

激活量化 Dynamic、Per-Token

Scale FP32,每个专家、每个输出通道独立,shape 为 [experts, out features, 1]

量化范围 按 0 起始层号,第 3–87 层 MoE 的 gate/up/down 投影,共 255 个 FP8 权重张量

保留精度 第 88–90 层专家权重、attention、dense、MTP、视觉侧等仍含 BF16/FP32 张量

量化工具 自定义 quantize step5 fp8 channel.py,逐专家、逐输出通道取 absmax/448 作为 scale,再转换为 FP8 E4M3

工具版本 本仓库随附的实际使用脚本,未单独发布版本号

权重格式 Safetensors;compressed-tensors 配置中的 version=0.13.0 为格式元数据

验证硬件 8 × BW1100 144GB

验证框架 vLLM 0.28.1+dtk2604.torch2110.2609171627.g77acaf

插件版本 vllm-plugin-das 75aa13701c3b23f25feb30f03f8c8c87fd7045cf

PyTorch / FlashAttention 2.11.0+dtk2604.2609291046.ge12687 / 2.8.4+dtk2604.torch2110.2610111419.gdf2889

精度评测工具 EvalScope 1.12.0 ,原生规则判分

推荐镜像 42.228.13.241:666/jenkins/model test env/vllm:0.28.1rc1-latest

许可证 StepFun Model License 1.0

模型配置包含文本与视觉分支;本轮精度仅覆盖文本。磁盘上保留的 BF16/FP32 张量与运行时量化开关分别记录。

  • 测试步骤

环境准备

拉取推荐镜像:

推理端使用上述配套环境。本包 tokenizer config.json 使用验证过的 PreTrainedTokenizerFast ByteLevel 配置;模型、tokenizer 与 chat template 必须匹配,不可用 tokenizer 目录中的 config.json 覆盖模型量化配置。

在配套容器中建立独立评测环境,使用清华源安装本轮记录的版本:

准备完整数据集

scripts/eval full.py 使用 EvalScope 原生适配器,从 ModelScope 载入 GSM8K test 1319 题、HumanEval 164 题和 MATH-500 500 题。

服务启动

八卡 IFB,TP4、DP2、EP8,正常 MTP3;max model len=65536、max num batched tokens=32768、max num seqs=64、FP8 E4M3 KV cache、gpu memory utilization=0.85,关闭 prefix caching。两边均使用 **Triton MoE、eager 执行**; VLLM HCU STEP5 FP8 DENSE=0 、 VLLM HCU STEP5 FP8 BF16 MOE=0 ,保留 checkpoint 中的 BF16 权重。

完整环境变量与参数见 scripts/start accuracy.sh。本轮关闭 LightOP EP scatter 和 EP fused MoE,以统一两种 FP8 格式可用的路径。此命令用于精度复测;吞吐数据需另行测量。

在一个终端启动 per-channel 模型:

另一个终端检查服务就绪:

使用 step3p5 reasoning parser 分离思考和最终答案,API 模型名为 step5 。

全量评测与对比

三个数据集依次运行,不设置 limit。HumanEval 使用已配置好的代码判分服务,通过 --sandbox-url 指定其地址:

per-channel 评测完成后结束该服务,用同一脚本加载已下载的官方 stepfun-ai/Step-5-Preview ,复用相同 tokenizer 与冻结输入:

服务就绪后,在另一个终端执行:

每次评测使用新的输出目录。

  • 精度结果

两边统一使用 EvalScope 1.12.0 原生评分、zero-shot、单次、并发 4、temperature=1.0、top p=0.95、top k=-1、seed=42、n=1、stream=true、retries=0、timeout=7200 秒,max tokens=32768(包含思考输出)。

差值 = per-channel 分数 − 官方 FP8 per-block 分数,单位为百分点。分数从正确题数计算后四舍五入;HumanEval 为单次 pass@1。

数据集 指标 / 题数 官方 FP8 per-block(%) 本模型 FP8 per-channel(%) 差值(百分点)

  • -- --- ---: ---: ---:

humaneval pass@1,164 题 98.17(161/164) 98.78(162/164) +0.61

math 500 accuracy,500 题 97.60(488/500) 98.00(490/500) +0.40

gsm8k accuracy,1319 题 96.51(1273/1319) 95.91(1265/1319) -0.61

  • 下载方式

模型仓库 ID 为 hygon/Step-5-Preview-Channel-FP8-w8a8 ,发布后可通过以下方式下载:

  • License

本模型沿用上游 stepfun-ai/Step-5-Preview 的 **StepFun Model License 1.0**。英文原文见 LICENSE,上游文件名副本见 LICENSE.txt,中文原文见 LICENSE-CN.txt。Copyright (c) 2026 StepFun AI。修改说明见 CHANGES.md,具体条款以许可证原文为准。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部