Qwen3-32B-FP8

# Qwen3-32B-FP8 模型卡片

模型概述

Qwen3-32B-FP8是Qwen3系列的32B参数FP8量化版本。该模型为因果语言模型，采用预训练和后训练两个阶段。模型包含64层，注意力机制采用GQA（分组查询注意力），其中Q头数量为64，KV头数量为8。模型非嵌入参数数量为31.2B。

## 主要能力

Qwen3是通义千问系列最新一代大语言模型，提供密集模型和混合专家（MoE）模型。该模型在以下方面具有突出能力：

• *思考模式切换**：支持在单一模型内无缝切换思考模式（用于复杂逻辑推理、数学和编程）和非思考模式（用于高效通用对话），确保在各种场景下达到最优性能。

• *推理能力增强**：在数学、代码生成和常识逻辑推理方面超越了前代QwQ（思考模式）和Qwen2.5 instruct模型（非思考模式）。

• *人类偏好对齐**：在创意写作、角色扮演、多轮对话和指令遵循方面表现出色，提供更自然、更具吸引力的对话体验。

• *智能体能力**：能够精确集成外部工具，在思考和非思考模式下均可在复杂智能体任务中达到开源模型领先性能。

• *多语言支持**：支持100多种语言和方言，具备强大的多语言指令遵循和翻译能力。## 输入输出

• *输入格式**：模型接受文本形式的对话输入，支持多轮对话历史。在思考模式下，用户可通过添加/think和/no think指令来动态切换模型的思考行为。

• *输出格式**：在思考模式下，模型会生成包含在<think >...< /think>块中的思考内容，随后输出最终回复。在非思考模式下，模型不会生成任何思考内容。

• *上下文长度**：原生支持32,768个tokens，使用YaRN技术可扩展至131,072个tokens。

运行要求

• *硬件要求**：具体硬件要求和推理性能请参考官方博客、GitHub和文档。

• *框架支持**：支持多种推理框架，包括transformers（0.4.6.post1或更高版本）、vllm（0.8.5或更高版本）、sglang，以及本地应用Ollama、LMStudio、MLX-LM、llama.cpp和KTransformers。

• *已知问题**：使用transformers进行分布式推理时，精细FP8量化方法存在兼容性问题。当使用多个设备进行推理时，可能需要设置环境变量CUDA_LAUNCH_BLOCKING=1。

基本用法

• *采样参数建议**：

• 思考模式（enable thinking=True）：Temperature=0.6，TopP=0.95，TopK=20，MinP=0。禁止使用贪婪解码，可能导致性能下降和无尽重复。
• 非思考模式（enable thinking=False）：Temperature=0.7，TopP=0.8，TopK=20，MinP=0。

• *输出长度建议**：大多数查询建议使用32,768个tokens的输出长度。对于数学和编程竞赛等高度复杂问题的基准测试，建议将最大输出长度设置为38,912个tokens。

• *标准化输出格式**：

• 数学问题：在提示中包含“请逐步推理，并将最终答案放在\\boxed{}中”。
• 多选题：在提示中添加JSON结构，要求模型仅输出选项字母。

• *长文本处理**：当对话总长度显著超过32,768个tokens时，建议使用RoPE缩放技术处理长文本。config.json中的默认最大位置嵌入设置为40,960，其中预留32,768个tokens用于输出，8,192个tokens用于典型提示。

限制

• *静态YaRN限制**：所有主要开源框架实现的均为静态YaRN，这意味着缩放因子不会随输入长度变化，可能对较短文本的性能产生影响。建议仅在处理长上下文时添加RoPE缩放配置，并根据实际应用场景调整因子。

• *思考模式限制**：在思考模式下，必须使用特定的采样参数，贪婪解码会导致性能下降和无尽重复。

• *API兼容性**：当enable thinking=True时，无论用户使用/think还是/no think，模型都会输出<think >块，但禁用思考时该块内容可能为空。当enable thinking=False时，软切换无效。

许可证

如需引用本工作，请参考相关文献。许可证信息请查阅官方文档。