Qwen3-0.6B-FP8

Qwen3-0.6B-FP8 模型卡片

模型概述

Qwen3-0.6B-FP8 是 Qwen3 系列中的轻量级语言模型，采用 FP8 量化版本。模型类型为因果语言模型，经过预训练和后训练阶段。

模型用途

该模型适用于对话生成、推理任务、代码编写、多语言处理等多种自然语言处理场景。支持在单一模型内无缝切换思考模式和非思考模式，以适应不同应用需求。

主要能力

思考模式切换：支持在复杂逻辑推理、数学和编码任务（思考模式）与高效通用对话（非思考模式）之间无缝切换。

推理能力提升：在数学、代码生成和常识逻辑推理方面超越前代 QwQ 和 Qwen2.5-Instruct 模型。

人类偏好对齐：在创意写作、角色扮演、多轮对话和指令遵循方面表现出色，提供更自然、更具吸引力的对话体验。

智能体能力：支持与外部工具的精确集成，在复杂智能体任务中达到开源模型领先性能。

多语言支持：支持超过 100 种语言和方言，具备强大的多语言指令跟随和翻译能力。

输入输出

上下文长度：32,768 个令牌

输出长度建议：大多数查询建议使用 32,768 个令牌；对于数学和编程竞赛等高度复杂问题，建议设置为 38,912 个令牌。

运行要求

参数规模：总参数 0.6B，非嵌入参数 0.44B

模型结构：28 层，注意力头采用 GQA（Q 头 16 个，KV 头 8 个）

量化方式：细粒度 FP8 量化，块大小为 128

推理框架：支持 transformers、sglang、vllm

分布式推理注意：在使用多个设备进行推理时，可能需要设置环境变量 CUDA_LAUNCH_BLOCKING=1

基本用法

默认设置：模型默认启用思考模式

思考模式参数：Temperature=0.6，TopP=0.95，TopK=20，MinP=0。建议不要使用贪婪解码，以免性能下降和无限重复。

非思考模式参数：Temperature=0.7，TopP=0.8，TopK=20，MinP=0

软切换功能：在思考模式启用时，用户可在提示词或系统消息中添加 /think 和 /no_think 来动态切换思考行为

输出格式标准化：数学问题建议在提示词中加入"Please reason step by step, and put your final answer within \boxed{}."；选择题建议添加 JSON 结构指定答案格式

多轮对话：历史消息只需包含最终输出部分，无需包含思考内容

限制

在思考模式下使用贪婪解码可能导致性能下降和无限重复

存在无限重复问题时，可将 presence penalty 参数调整在 0 到 2 之间以减少重复，但较高值可能导致语言混合和轻微性能下降

许可证

请参阅项目官方文档获取许可证信息。