Qwen3.5-122B-A10B-GPTQ-Int4

# Qwen3.5-122B-A10B-GPTQ-Int4 模型卡片

模型概述

Qwen3.5-122B-A10B-GPTQ-Int4 是一个带有视觉编码器的因果语言模型，采用 int4 量化技术。该模型以 Hugging Face Transformers 格式提供权重和配置文件，兼容 Hugging Face Transformers、vLLM、SGLang、KTransformers 等推理框架。

## 主要能力

• *统一视觉语言基础**：通过多模态 token 的早期融合训练，在推理、编码、代理和视觉理解基准测试中实现与 Qwen3 相当的跨代性能，优于 Qwen3-VL 模型。

• *高效混合架构**：结合门控 Delta 网络和稀疏专家混合架构，以最低延迟和成本实现高吞吐量推理。

• *可扩展强化学习泛化**：在百万级智能体环境中扩展强化学习，具备逐步复杂的任务分布，实现稳健的实时适应性。

• *全球语言覆盖**：扩展支持 201 种语言和方言，支持全球部署，具备细致的文化和区域理解能力。

• *下一代训练基础设施**：多模态训练效率接近 100%（相比纯文本训练），支持大规模智能体脚手架和环境编排的异步强化学习框架。

## 模型规格

• *语言模型参数**：

总参数 122B，激活参数 10B

隐藏层维度：3072

Token 嵌入：248320（填充后）

层数：48

隐藏层布局：12 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE))

• *Gated DeltaNet**：

线性注意力头：V 为 64 个，QK 为 16 个

头维度：128

• *Gated Attention**：

注意力头：Q 为 32 个，KV 为 2 个

头维度：256

旋转位置嵌入维度：64

• *专家混合架构**：

专家数量：256

激活专家：8 个路由 + 1 个共享

专家中间维度：1024

• *上下文长度**：原生支持 262,144 tokens，可扩展至 1,010,000 tokens
• *量化方式**：GPTQ 4-bit

## 输入输出

• *支持输入**：文本、图像、视频
• *输出**：文本响应
• *默认模式**：思考模式，模型会在生成最终响应前输出以 \n... \n\n 标识的思考内容

运行要求

• *兼容框架**：Hugging Face Transformers、vLLM、SGLang、KTransformers
• *硬件建议**：推荐使用 8 GPU 进行张量并行
• *内存**：模型已进行 int4 量化以降低显存需求
• *默认上下文长度**：262,144 tokens
• *注意**：如遇内存不足错误，可考虑减少上下文窗口。建议保持至少 128K tokens 的上下文长度以保留思考能力。

基本用法

• *启动服务**：

推荐使用 SGLang、vLLM 或 KTransformers 框架启动服务以获得最佳性能和吞吐量。

• *采样参数建议**：
• 思考模式下的一般任务：temperature=1.0, top p=0.95, top k=20, min p=0.0, presence penalty=1.5, repetition penalty=1.0
• 思考模式下的精确编码任务：temperature=0.6, top p=0.95, top k=20, min p=0.0, presence penalty=0.0, repetition penalty=1.0
• 指令（非思考）模式下的一般任务：temperature=0.7, top p=0.8, top k=20, min p=0.0, presence penalty=1.5, repetition penalty=1.0
• 指令模式下的推理任务：temperature=1.0, top p=1.0, top k=40, min p=0.0, presence penalty=2.0, repetition penalty=1.0

• *输出长度建议**：大多数查询建议使用 32,768 tokens 的输出长度。对于数学和编程竞赛等高度复杂问题的基准测试，建议将最大输出长度设置为 81,920 tokens。

• *禁用思考模式**：通过配置 API 参数可获取不带思考内容的直接响应。Qwen3.5 不支持 Qwen3 的软开关（/think 和 /nothink）。

• *超长文本处理**：对于总长度超过 262,144 tokens 的长程任务，建议使用 RoPE 缩放技术（如 YaRN）处理长文本。

限制

• Qwen3.5 默认启用思考模式，模型会在响应前生成思考内容
• 不支持 Qwen3 的软开关功能（/think 和 /nothink）
• 使用静态 YaRN 时，缩放因子在不同输入长度下保持恒定，可能影响较短文本的性能
• 采样参数支持情况因推理框架而异

许可证

原始内容中未提供明确的许可证信息。