模型介绍
中文整理Step-5-Preview-Channel-FP8-w8a8
本仓库提供 Step5 的 Channel FP8 W8A8 权重。上游模型与精度对照为 stepfun-ai/Step-5-Preview,它是官方 **FP8 E4M3、128×128 per-block** 模型。本仓库采用 static per-channel 权重与 dynamic per-token 激活量化。原有版权和归属保留,修改说明见 CHANGES.md。
- 基本信息
项目 内容
- -- ---
上游模型 stepfun-ai/Step-5-Preview,官方 FP8 per-block
模型仓库 ID hygon/Step-5-Preview-Channel-FP8-w8a8
量化类型 FP8 W8A8,保留部分 BF16/FP32 张量
权重量化 Static、Per-Channel,FP8 E4M3
激活量化 Dynamic、Per-Token
Scale FP32,每个专家、每个输出通道独立,shape 为 [experts, out features, 1]
量化范围 按 0 起始层号,第 3–87 层 MoE 的 gate/up/down 投影,共 255 个 FP8 权重张量
保留精度 第 88–90 层专家权重、attention、dense、MTP、视觉侧等仍含 BF16/FP32 张量
量化工具 自定义 quantize step5 fp8 channel.py,逐专家、逐输出通道取 absmax/448 作为 scale,再转换为 FP8 E4M3
工具版本 本仓库随附的实际使用脚本,未单独发布版本号
权重格式 Safetensors;compressed-tensors 配置中的 version=0.13.0 为格式元数据
验证硬件 8 × BW1100 144GB
验证框架 vLLM 0.28.1+dtk2604.torch2110.2609171627.g77acaf
插件版本 vllm-plugin-das 75aa13701c3b23f25feb30f03f8c8c87fd7045cf
PyTorch / FlashAttention 2.11.0+dtk2604.2609291046.ge12687 / 2.8.4+dtk2604.torch2110.2610111419.gdf2889
精度评测工具 EvalScope 1.12.0 ,原生规则判分
推荐镜像 42.228.13.241:666/jenkins/model test env/vllm:0.28.1rc1-latest
许可证 StepFun Model License 1.0
模型配置包含文本与视觉分支;本轮精度仅覆盖文本。磁盘上保留的 BF16/FP32 张量与运行时量化开关分别记录。
- 测试步骤
环境准备
拉取推荐镜像:
推理端使用上述配套环境。本包 tokenizer config.json 使用验证过的 PreTrainedTokenizerFast ByteLevel 配置;模型、tokenizer 与 chat template 必须匹配,不可用 tokenizer 目录中的 config.json 覆盖模型量化配置。
在配套容器中建立独立评测环境,使用清华源安装本轮记录的版本:
准备完整数据集
scripts/eval full.py 使用 EvalScope 原生适配器,从 ModelScope 载入 GSM8K test 1319 题、HumanEval 164 题和 MATH-500 500 题。
服务启动
八卡 IFB,TP4、DP2、EP8,正常 MTP3;max model len=65536、max num batched tokens=32768、max num seqs=64、FP8 E4M3 KV cache、gpu memory utilization=0.85,关闭 prefix caching。两边均使用 **Triton MoE、eager 执行**; VLLM HCU STEP5 FP8 DENSE=0 、 VLLM HCU STEP5 FP8 BF16 MOE=0 ,保留 checkpoint 中的 BF16 权重。
完整环境变量与参数见 scripts/start accuracy.sh。本轮关闭 LightOP EP scatter 和 EP fused MoE,以统一两种 FP8 格式可用的路径。此命令用于精度复测;吞吐数据需另行测量。
在一个终端启动 per-channel 模型:
另一个终端检查服务就绪:
使用 step3p5 reasoning parser 分离思考和最终答案,API 模型名为 step5 。
全量评测与对比
三个数据集依次运行,不设置 limit。HumanEval 使用已配置好的代码判分服务,通过 --sandbox-url 指定其地址:
per-channel 评测完成后结束该服务,用同一脚本加载已下载的官方 stepfun-ai/Step-5-Preview ,复用相同 tokenizer 与冻结输入:
服务就绪后,在另一个终端执行:
每次评测使用新的输出目录。
- 精度结果
两边统一使用 EvalScope 1.12.0 原生评分、zero-shot、单次、并发 4、temperature=1.0、top p=0.95、top k=-1、seed=42、n=1、stream=true、retries=0、timeout=7200 秒,max tokens=32768(包含思考输出)。
差值 = per-channel 分数 − 官方 FP8 per-block 分数,单位为百分点。分数从正确题数计算后四舍五入;HumanEval 为单次 pass@1。
数据集 指标 / 题数 官方 FP8 per-block(%) 本模型 FP8 per-channel(%) 差值(百分点)
- -- --- ---: ---: ---:
humaneval pass@1,164 题 98.17(161/164) 98.78(162/164) +0.61
math 500 accuracy,500 题 97.60(488/500) 98.00(490/500) +0.40
gsm8k accuracy,1319 题 96.51(1273/1319) 95.91(1265/1319) -0.61
- 下载方式
模型仓库 ID 为 hygon/Step-5-Preview-Channel-FP8-w8a8 ,发布后可通过以下方式下载:
- License
本模型沿用上游 stepfun-ai/Step-5-Preview 的 **StepFun Model License 1.0**。英文原文见 LICENSE,上游文件名副本见 LICENSE.txt,中文原文见 LICENSE-CN.txt。Copyright (c) 2026 StepFun AI。修改说明见 CHANGES.md,具体条款以许可证原文为准。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
