Qwen3-8B-FP8

Qwen3-8B-FP8

模型概述

Qwen3-8B-FP8是Qwen3系列中的FP8量化版本大型语言模型。该模型为因果语言模型，经过预训练和后训练阶段开发。模型参数总量为8.2B，非嵌入参数为6.95B，包含36层网络结构。注意力机制采用分组查询注意力（GQA），Q头数量为32，KV头数量为8。模型原生支持32,768个token的上下文长度，通过YaRN技术可扩展至131,072个token。

模型用途

该模型适用于多种自然语言处理任务，包括复杂逻辑推理、数学问题求解、代码生成、创意写作、角色扮演、多轮对话、多语言指令遵循和翻译等场景。模型支持工具调用能力，可与外部工具进行精确集成，适用于基于代理的复杂任务处理。

主要能力

模型具备以下核心能力：支持在单一模型内无缝切换思考模式和非思考模式，思考模式适用于复杂逻辑推理、数学和编码任务，非思考模式适用于高效通用对话；推理能力显著提升，在数学、代码生成和常识逻辑推理方面超越前代模型；人类偏好对齐表现出色，在创意写作、角色扮演、多轮对话和指令遵循方面提供更自然、更具吸引力的对话体验；代理能力专业，支持在思考和非思考模式下与外部工具精确集成，在复杂代理任务中达到开源模型领先水平；支持100多种语言和方言，具备强大的多语言指令遵循和翻译能力。

输入输出

输入格式为文本提示，支持多轮对话场景。输出为生成的文本内容。在思考模式下，模型会生成包含在<think＞和＜/think＞标签之间的推理内容，随后输出最终回复；在非思考模式下，模型直接输出最终回复，不包含推理过程。

运行要求

推理框架要求：transformers版本需为0.4.6.post1或更高，vllm版本需为0.8.5或更高。FP8量化版本采用细粒度fp8量化方法，块大小为128。分布式推理时需要注意：如果使用多个设备，可能需要设置环境变量CUDA_LAUNCH_BLOCKING=1以解决transformers中细粒度fp8方法的问题。

处理长文本时，模型原生支持32,768个token的上下文长度。对于总长度显著超过此限制的对话，建议使用RoPE缩放技术处理长文本。已验证模型在YaRN方法下可支持最高131,072个token的上下文长度。config.json中的默认最大位置嵌入设置为40,960，其中预留32,768个token用于输出，8,192个token用于典型提示。

基本用法

模型可通过多种框架使用，包括transformers、sglang、vllm，以及本地应用Ollama、LMStudio、MLX-LM、llama.cpp和KTransformers。

思考模式配置：使用Temperature=0.6、TopP=0.95、TopK=20、MinP=0。建议将输出长度设置为32,768个token以获得最佳性能。对于数学和编程竞赛等高度复杂问题的基准测试，建议将最大输出长度设置为38,912个token。**禁止使用贪婪解码**，因为这会导致性能下降和无限重复。

非思考模式配置：建议使用Temperature=0.7、TopP=0.8、TopK=20、MinP=0。

软切换机制：用户可通过在提示或系统消息中添加/think和/no_think来动态控制模型的思考模式行为，模型将遵循多轮对话中最新的指令。

标准化输出格式建议：数学问题提示中包含"Please reason step by step, and put your final answer within \boxed{}."；多选题提示中添加JSON结构以标准化回复格式。

多轮对话中，历史模型输出应仅包含最终输出部分，无需包含思考内容。

限制

所有开源框架实现的是静态YaRN，这意味着缩放因子在整个输入长度范围内保持不变，**可能会影响较短文本的性能**。建议仅在处理长上下文需要时添加rope缩放配置，并根据需要修改因子。例如，如果应用程序的典型上下文长度为65,536个token，最好将factor设置为2.0。如果平均上下文长度不超过32,768个token，建议不要启用YaRN，因为这可能会降低模型性能。

许可证

如需引用本工作，请参照相关引用规范。