Model details
模型介绍
中文整理MiniMax-M3-w8a8
简介
MiniMax-m3 是 MiniMax 推出的新一代旗舰基础模型，定位为兼具超长上下文、Agent、Coding 和原生多模态能力的统一模型。模型采用自研 MiniMax Sparse Attention（MSA）架构，在支持百万级上下文的同时显著降低长上下文推理成本。
量化步骤：
环境准备
commit id: 559e88684e3dd2b02976586745141138bb172508
量化脚本
MODEL PATH 处使用下载好的官方的bf16的权重路径
量化配置差异
0626版本相比于0day版本以下变化：
新增 iter smooth 离群值抑制：在 linear quant 前增加 type: iter smooth ，配置为 alpha: 0.5 、 scale min: 1e-5 、 symmetric: True ，并只对 norm-linear 子图生效。
减少 qkv 回退：0day版本显式排除了第 55-59 层的 self attn.q proj/k proj/v proj ，这些 qkv 线性层不做 W8A8 量化；0626版本的 exclude 不再包含这些具体 qkv 层，因此更多 attention qkv 层会进入 W8A8 量化。
3 精度测试结果
模型名 数据集 测试精度 % 官方精度 %
:------: :------: :------: :------:
MiniMax-M3-w8a8 gsm8k 96.89 97.19
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.
