Qwen3.5-27B-GPTQ-Int4

# Qwen3.5-27B-GPTQ-Int4 模型卡片

模型概述

Qwen3.5-27B-GPTQ-Int4 是一个包含视觉编码器的因果语言模型，采用预训练和后训练阶段开发。该模型使用 GPTQ 4-bit 量化技术，适用于多种推理框架。

## 主要能力

• *统一视觉语言基础**：通过多模态token的早期融合训练，在推理、编码、代理和视觉理解基准测试中实现与Qwen3相当的跨代水平，优于Qwen3-VL模型。

• *高效混合架构**：门控Delta网络结合稀疏专家混合架构，提供高吞吐量推理，最小化延迟和成本开销。

• *可扩展强化学习泛化**：在百万级代理环境中扩展强化学习，配合逐步复杂的任务分布，实现稳健的实时适应性。

• *全球语言覆盖**：扩展支持201种语言和方言，支持全球部署，具备细致的文化和区域理解能力。

• *下一代训练基础设施**：与纯文本训练相比，多模态训练效率接近100%，支持大规模代理脚手架和环境编排的异步RL框架。

## 输入输出

• *支持输入格式**：

• 纯文本输入
• 图像输入
• 视频输入

• *输出**：文本响应。模型默认以思考模式运行，在生成最终响应前会产生以\n...\n\n标识的思考内容。

运行要求

• *模型规格**：

• 参数量：27B
• 隐藏层维度：5120
• Token嵌入：248320（填充后）
• 层数：64
• 上下文长度：原生支持262,144个token，可扩展至1,010,000个token
• 量化：GPTQ 4-bit

• *硬件建议**：

• 推荐使用8张GPU进行张量并行
• 默认上下文长度为262,144个token
• 遇到内存溢出错误时，可考虑减少上下文窗口
• 为保持思考能力，建议至少维持128K个token的上下文长度

• *框架兼容性**：支持Hugging Face Transformers、vLLM、SGLang、KTransformers等框架。

基本用法

• *通过API服务使用**：推荐使用SGLang、vLLM或KTransformers等专用推理引擎进行生产工作负载或高吞吐量场景。

• *采样参数建议**：

• 思考模式下的一般任务：temperature=1.0, top p=0.95, top k=20, min p=0.0, presence penalty=1.5, repetition penalty=1.0
• 思考模式下的精确编码任务：temperature=0.6, top p=0.95, top k=20, min p=0.0, presence penalty=0.0, repetition penalty=1.0
• 指令（非思考）模式下的一般任务：temperature=0.7, top p=0.8, top k=20, min p=0.0, presence penalty=1.5, repetition penalty=1.0
• 指令模式下的推理任务：temperature=1.0, top p=1.0, top k=40, min p=0.0, presence penalty=2.0, repetition penalty=1.0

• *输出长度建议**：大多数查询建议使用32,768个token的输出长度。对于数学和编程竞赛等高度复杂问题的基准测试，建议将最大输出长度设置为81,920个token。

• *禁用思考模式**：可通过配置API参数获取直接响应，无需思考内容。

• *超长文本处理**：对于总长度超过262,144个token的长视距任务，建议使用RoPE缩放技术（如YaRN）处理长文本。

限制

• Qwen3.5不支持Qwen3的软切换功能（即/think和/nothink命令）
• 模型默认以思考模式运行
• 所有开源框架实现静态YaRN，意味着缩放因子在整个输入长度内保持恒定，可能影响较短文本的性能
• 采样参数支持因推理框架而异

许可证

本仓库包含Hugging Face Transformers格式的int4量化模型权重和配置文件。