Qwen3.5-27B

# Qwen3.5-27B 模型卡片

模型概述

Qwen3.5-27B 是一个带有视觉编码器的因果语言模型，采用预训练和后训练相结合的方式开发。该模型支持文本和视觉多模态理解，具备强大的推理、编码、代理和视觉理解能力。

## 主要能力

• *统一视觉语言基础**：通过多模态token的早期融合训练，在推理、编码、代理和视觉理解基准测试中达到与Qwen3相当的跨代水平，优于Qwen3-VL模型。

• *高效混合架构**：结合门控Delta网络和稀疏专家混合架构，实现高吞吐量推理，最小化延迟和成本开销。

• *可扩展强化学习泛化**：在百万级代理环境中扩展强化学习，配合逐步复杂的任务分布，实现稳健的实时适应能力。

• *全球语言覆盖**：扩展支持201种语言和方言，支持全球部署，具备细致的文化和区域理解能力。

• *下一代训练基础设施**：多模态训练效率接近文本训练的水平，支持异步强化学习框架，可处理大规模代理脚手架和环境编排。

## 输入输出

• *支持输入类型**：纯文本、图像、视频

• *上下文长度**：原生支持262,144个token，可扩展至1,010,000个token

• *输出模式**：默认启用思考模式生成内容，输出前会包含以\n...\n\n标识的思考内容；也可配置为直接输出模式

运行要求

• *兼容框架**：Hugging Face Transformers、vLLM、SGLang、KTransformers

• *推荐硬件配置**：使用8个GPU进行张量并行，支持最大262,144个token的上下文长度

• *内存建议**：如遇内存不足错误，可考虑减小上下文窗口；由于Qwen3.5利用扩展上下文处理复杂任务，建议保持至少128K个token的上下文长度以保留思考能力

基本用法

• *服务部署**：可通过SGLang、vLLM、KTransformers或Hugging Face Transformers部署为OpenAI兼容的API服务

• *思考模式**：模型默认启用思考模式。通用任务推荐采样参数：temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0；精确编码任务推荐：temperature=0.6, top_p=0.95, top_k=20

• *非思考模式**：可通过API参数配置禁用思考以获得直接回复

• *超长文本处理**：对于超过262,144个token的长程任务，建议使用RoPE缩放技术（如YaRN）处理长文本

限制

• *软开关限制**：Qwen3.5不支持Qwen3的软切换功能（/think和/nothink命令）

• *上下文长度影响**：使用静态YaRN时，缩放因子在整个输入长度范围内保持恒定，可能对较短文本的性能产生影响。建议仅在处理长上下文时修改RoPE参数配置，并根据实际应用场景调整缩放因子

许可证

本仓库包含Hugging Face Transformers格式的后训练模型权重和配置文件。