Qwen3-235B-A22B-FP8

# Qwen3-235B-A22B-FP8 模型卡片

模型概述

Qwen3-235B-A22B-FP8 是阿里云Qwen系列最新一代大语言模型，采用FP8量化版本。

• *类型**：因果语言模型
• *训练阶段**：预训练与后训练
• *参数总量**：2350亿
• *激活参数**：220亿
• *非嵌入参数**：2340亿
• *层数**：94
• *注意力头数量**：64个Q头，4个KV头
• *专家总数**：128
• *激活专家数**：8
• *上下文长度**：原生32,768 tokens，使用YaRN技术可扩展至131,072 tokens

## 主要能力

• *思考模式切换**：支持在单一模型内无缝切换思考模式（用于复杂逻辑推理、数学和编程）和非思考模式（用于高效通用对话），确保在不同场景下获得最佳性能。

• *推理能力增强**：在数学、代码生成和常识逻辑推理方面超越前代QwQ（思考模式）和Qwen2.5 instruct模型（非思考模式）。

• *人类偏好对齐**：在创意写作、角色扮演、多轮对话和指令遵循方面表现出色，提供更自然、更具吸引力的对话体验。

• *代理能力**：支持在思考和非思考模式下精确集成外部工具，在复杂代理任务中达到开源模型领先性能。

• *多语言支持**：支持100多种语言和方言，具备强大的多语言指令遵循和翻译能力。

## 输入输出

• *输入格式**：文本对话，支持系统消息和用户消息
• *输出格式**：文本响应
• *上下文长度**：原生支持32,768 tokens，最长可处理131,072 tokens

## 运行要求模型为FP8量化版本，量化方法为细粒度fp8量化，块大小为128。建议参考官方文档了解具体硬件要求和推理性能数据。

基本用法

• *支持的框架**：Transformers、vLLM、SGLang、Ollama、LMStudio、MLX-LM、llama.cpp、KTransformers

• *思考模式参数**（enable thinking=True）：
• Temperature: 0.6
• TopP: 0.95
• TopK: 20
• MinP: 0
• 注意：禁止使用贪婪解码，可能导致性能下降和无限重复

• *非思考模式参数**（enable thinking=False）：
• Temperature: 0.7
• TopP: 0.8
• TopK: 20
• MinP: 0

• *软切换机制**：在enable thinking=True时，可在用户提示或系统消息中添加 /think 和 /no think 来动态控制模型的思考模式。

• *长文本处理**：当对话长度超过32,768 tokens时，建议使用YaRN技术。config.json中默认最大位置嵌入为40,960，其中32,768用于输出，8,192用于提示。

• *推荐输出长度**：大多数查询建议使用32,768 tokens；数学和编程竞赛等复杂问题建议设置为38,912 tokens。

限制

• 思考模式下使用贪婪解码可能导致性能下降和无限重复
• 使用presence penalty参数（0-2）可减少无限重复，但较高值可能导致语言混合和性能轻微下降
• 静态YaRN实现可能导致较短文本性能受到影响，建议仅在处理长上下文时启用
• 分布式推理时使用transformers的细粒度fp8方法可能存在问题，多设备推理时需设置环境变量CUDA_LAUNCH_BLOCKING=1

许可证

如需引用本工作，请参考官方引用格式。