模型介绍
中文整理Qwen3.6-27B
模型概述
类型：带视觉编码器的因果语言模型
训练阶段：预训练和后训练
参数量：27B
隐藏层维度：5120
词表大小：248320（填充后）
层数：64
上下文长度：原生支持262,144个token，可扩展至1,010,000个token
模型架构
隐藏层布局：16 × (3 × (Gated DeltaNet → FFN) → 1 × (Gated Attention → FFN))
Gated DeltaNet：V使用48个线性注意力头，QK使用16个头，头维度128
Gated Attention：Q使用24个注意力头，KV使用4个头，头维度256
旋转位置嵌入维度：64
前馈网络中间维度：17408
多token预测（MTP）：多步训练
主要能力
代理编码：模型在处理前端工作流和仓库级推理方面更加流畅和精确。
思考保留：新增选项可保留历史消息中的推理上下文，简化迭代开发并减少开销。
视觉语言理解：支持图像和视频输入理解。
长上下文处理：原生支持超长上下文，可处理数十万token的输入。
输入输出
支持纯文本输入、图像输入、视频输入。
默认启用思考模式，生成思考内容后输出最终回复。
可通过API参数关闭思考模式获取直接回复。
运行要求
推荐使用最新版本的推理框架以获得最佳性能和兼容性。
生产环境或高吞吐量场景推荐使用SGLang、KTransformers或vLLM。
处理超长上下文时建议至少保持128K token的上下文长度以保留思考能力。
如遇内存不足错误，可考虑减少上下文窗口。
基本用法
推荐通过API调用方式使用模型。
标准版本使用8张GPU进行张量并行，最大上下文长度为262,144个token。
采样参数建议：
- 通用任务思考模式：temperature=1.0, top_p=0.95, top_k=20
- 精确编码任务思考模式（如WebDev）：temperature=0.6, top_p=0.95, top_k=20
- 指令模式（非思考）：temperature=0.7, top_p=0.80, top_k=20
大多数查询建议输出长度设置为32,768个token。复杂数学和编程竞赛问题建议设置为81,920个token。
支持工具调用功能。
支持通过设置preserve thinking选项保留历史消息的推理轨迹。
限制
默认启用思考模式，不支持Qwen3的软切换功能（/think和/nothink）。
使用静态YaRN时，扩展因子在不同输入长度下保持恒定，可能影响短文本性能。
采样参数支持情况因推理框架而异。
许可证
本仓库包含Hugging Face Transformers格式的模型权重和配置文件。
这些资源与Hugging Face Transformers、vLLM、SGLang、KTransformers等框架兼容。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。