Qwen3-1.7B-FP8

# Qwen3-1.7B-FP8 模型卡片

模型概述

Qwen3-1.7B-FP8是通义千问系列最新一代大语言模型的FP8量化版本。

模型用途

因果语言模型，适用于预训练和后训练阶段。可用于复杂逻辑推理、数学、编码、通用对话、创意写作、角色扮演、多轮对话等多种场景。

## 主要能力

• *思维模式切换**：支持在单一模型内无缝切换思维模式（用于复杂逻辑推理、数学和编码）和非思维模式（用于高效通用对话），确保在各种场景下获得最佳性能。

• *推理能力**：在数学、代码生成和常识逻辑推理方面超越前代QwQ（思维模式）和Qwen2.5 instruct模型（非思维模式）。

• *人类偏好对齐**：在创意写作、角色扮演、多轮对话和指令遵循方面表现出色，提供更自然、更具吸引力的对话体验。

• *智能体能力**：支持在思维和非思维模式下精确集成外部工具，在复杂智能体任务中达到开源模型领先性能。

• *多语言支持**：支持100多种语言和方言，具备强大的多语言指令遵循和翻译能力。

## 输入输出

• *输入**：文本提示

• *输出**：文本响应。在思维模式下，模型会生成包含在<think\>...\</think\>块中的推理内容，随后是最终响应；在非思维模式下，模型直接生成最终响应，不包含推理内容。

运行要求

• *参数规模**：总参数17亿，非嵌入参数14亿

• *模型结构**：28层，注意力头采用GQA（Q为16个，KV为8个）

• *上下文长度**：32,768个token

• *量化方式**：细粒度FP8量化，块大小为128

• *推理框架**：支持transformers、sglang、vllm，以及Ollama、LMStudio、MLX-LM、llama.cpp、KTransformers等本地应用

• *已知问题**：使用transformers进行分布式推理时存在细粒度FP8量化问题，多设备推理时可能需要设置环境变量CUDA_LAUNCH_BLOCKING=1

基本用法

• *思维模式切换**：

• 默认启用思维模式，模型会使用推理能力提升响应质量
• 设置enable_thinking=True启用思维模式
• 设置enable_thinking=False完全禁用思维模式

• *软切换机制**：在enable_thinking=True时，可在用户提示或系统消息中添加/think和/no think来动态切换思维模式，模型会遵循多轮对话中最新的指令。

• *推荐采样参数**：

• 思维模式：Temperature=0.6，TopP=0.95，TopK=20，MinP=0
• 非思维模式：Temperature=0.7，TopP=0.8，TopK=20，MinP=0

• *输出长度建议**：大多数查询建议使用32,768个token的输出长度；数学和编程竞赛等高度复杂问题建议设置为38,912个token。

• *减少重复**：可将presence penalty参数调整在0到2之间以减少无限重复，但较高值可能导致语言混合和性能轻微下降。

限制

• 思维模式下禁止使用贪婪解码，会导致性能下降和无限重复
• 分布式推理存在已知问题
• 较高的presence penalty值可能影响输出质量

许可证

原文未提供许可证相关信息。