Magistral-Small-2507

# 模型名称

Magistral Small 1.1

模型用途

Magistral Small 1.1 是基于 Mistral Small 3.1 (2503) 构建的小型高效推理模型，拥有 240 亿参数。该模型在 Magistral Medium 轨迹的监督微调和强化学习基础上，增加了推理能力。该模型支持本地部署，量化后可在单张 RTX 4090 或 32GB 内存的 MacBook 上运行。

# 主要能力

• *推理能力**：能够在给出答案前进行长链路的推理思考。

• *多语言支持**：支持数十种语言，包括英语、法语、德语、希腊语、印地语、印尼语、意大利语、日语、韩语、马来语、尼泊尔语、波兰语、葡萄牙语、罗马尼亚语、俄语、塞尔维亚语、西班牙语、土耳其语、乌克兰语、越南语、阿拉伯语、孟加拉语、中文和波斯语。

• *上下文窗口**：支持 128k 上下文窗口，但性能在超过 40k 后可能会下降。

# 输入输出

模型使用特殊的 [THINK] 和 [/THINK] 标记来封装推理内容。系统提示中包含推理提示。用户应使用 Markdown 格式回复，数学公式使用 LaTeX 编写。思考过程和回复应使用与输入相同的语言。

运行要求

• *硬件要求**：量化后可在单张 RTX 4090 或 32GB 内存的 MacBook 上运行。

• *采样参数建议**：

• top p：0.95
• temperature：0.7
• 最大 token 数：40960

• *上下文长度建议**：建议将最大模型长度设置为 40k。

基本用法

建议使用以下系统提示以获得最佳效果：

首先在内心独白中构思思考过程，直到形成回复。使用 Markdown 格式回复，数学公式使用 LaTeX。思考过程和回复均使用与输入相同的语言。思考过程必须遵循以下模板：[THINK]你的思考或草稿，如同在草稿纸上解题一样。可以随意书写，直到有信心生成回复。使用与输入相同的语言。[/THINK]然后提供独立的回复。

[THINK] 和 [/THINK] 必须作为特殊 token 进行编码。

• *推理框架**：推荐使用 vLLM，也可使用 transformers。

• *量化版本**：社区已准备量化版本，支持 llama.cpp 和 lmstudio。

• *微调支持**：支持使用 axolotl 和 unsloth 进行微调。

限制

• 上下文窗口性能在超过 40k 后可能会下降
• 模型可能会进入无限生成循环（1.1 版本已改进此问题）

许可证

Apache 2.0 许可证：开放许可证，允许商业和非商业用途的修改和使用。

# 基准测试结果

| 模型 | AIME24 pass@1 | AIME25 pass@1 | GPQA Diamond | Livecodebench (v5) |

|------|---------------|---------------|--------------|---------------------|

| Magistral Small 1.1 | 70.52% | 62.03% | 65.78% | 59.17% |

| Magistral Small 1.0 | 70.68% | 62.76% | 68.18% | 55.84% |

# 与 1.0 版本的对比

• 1 版本在基准测试中与 1.0 版本性能相近。主要改进包括：更好的语气和模型行为；LaTeX 和 Markdown 格式化更优；简单通用提示的回复更短；减少进入无限生成循环的可能性；推理内容使用特殊 token 封装，便于解析推理轨迹。