Qwen3-235B-A22B-GGUF

# Qwen3-235B-A22B-GGUF 模型卡片

模型概述

Qwen3-235B-A22B 是阿里云Qwen系列最新一代大语言模型，采用密集型和混合专家（MoE）架构。该模型在推理、指令遵循、代理能力和多语言支持方面实现了突破性进展。

## 主要能力

• **思考模式切换**：支持在同一模型内无缝切换思考模式（用于复杂逻辑推理、数学和编程）和非思考模式（用于高效通用对话），确保在各种场景下获得最佳性能
• **推理能力增强**：在数学、代码生成和常识逻辑推理方面超越前代QwQ（思考模式）和Qwen2.5 instruct模型（非思考模式）
• **人类偏好对齐**：在创意写作、角色扮演、多轮对话和指令遵循方面表现出色，提供更自然、更具吸引力的对话体验
• **代理能力**：能够在思考和非思考模式下精确集成外部工具，在复杂基于代理的任务中达到开源模型领先性能
• **多语言支持**：支持100多种语言和方言，具备强大的多语言指令遵循和翻译能力

## 参数规格

• 模型类型：因果语言模型
• 训练阶段：预训练和后训练
• 总参数数量：2350亿
• 激活参数数量：220亿
• 非嵌入参数数量：2340亿
• 层数：94
• 注意力头数量：Q头64个，KV头4个
• 专家数量：128
• 激活专家数量：8
• 上下文长度：原生支持32,768 tokens，使用YaRN技术可扩展至131,072 tokens
• 量化版本：q4_K_M、q5_0、q5_K_M、q6_K、q8_0

## 输入输出

• 输入：文本形式的用户提示或对话，可通过添加/think或/no_think指令切换思考模式
• 输出：文本形式的回复，在思考模式下会先输出推理过程再给出最终答案
• 多轮对话：支持多轮对话，模型将遵循最新的指令

运行要求

• 建议使用llama.cpp框架运行
• 具体硬件要求请参考官方文档和博客
• 大文件已分割为多个片段，需使用llama-gguf-split工具合并后使用

基本用法

• *切换思考模式**：在用户提示或系统消息中添加/think或/no_think即可切换模型的思考模式。在多轮对话中，模型将遵循最近的指令。

• *处理长文本**：模型原生支持32,768 tokens的上下文长度。对于总长度显著超过此限制的对话，建议使用RoPE缩放技术处理长文本。使用YaRN方法已在131,072 tokens的上下文长度下验证了模型性能。

• *采样参数建议**：
• 思考模式：Temperature=0.6，TopP=0.95，TopK=20，MinP=0，PresencePenalty=1.5。不建议使用贪婪解码，可能导致性能下降和无限重复。
• 非思考模式：Temperature=0.7，TopP=0.8，TopK=20，MinP=0，PresencePenalty=1.5。
• 建议对量化模型设置presence penalty为1.5以抑制重复输出。

• *输出长度建议**：大多数查询建议使用32,768 tokens的输出长度。对于数学和编程竞赛等高度复杂问题的基准测试，建议设置最大输出长度为38,912 tokens。

• *标准化输出格式**：
• 数学问题：在提示中包含"Please reason step by step, and put your final answer within \boxed{}."
• 多选题：添加JSON结构"Please show your choice in the answer field with only the choice letter, e.g., "answer": "C"."

• *历史消息处理**：在多轮对话中，历史模型输出应仅包含最终输出部分，不需要包含思考内容。

限制

• 静态YaRN的缩放因子是恒定的，可能对较短文本的性能产生影响。建议仅在处理长上下文时添加rope缩放配置。
• presence penalty参数设置过高可能导致语言混合和轻微的性能下降。

许可证

如需引用本工作，请参考官方提供的引用方式。