Qwen3.6-27B-FP8

Qwen3.6-27B-FP8 模型卡片

模型概述

Qwen3.6-27B-FP8 是一个带有视觉编码器的因果语言模型，采用 FP8 量化技术。该模型基于 Qwen3.5 系列发布后的社区反馈开发，专注于稳定性和实际应用场景，为开发者提供更直观、响应更快、更高效的开发体验。

主要能力

该模型在以下方面进行了显著升级：

• 智能编码：模型能够更流畅、精确地处理前端工作流和仓库级推理任务
• 思考保留：新增选项可保留历史消息中的推理上下文，简化迭代开发流程并减少开销
• 视觉语言理解：支持图像和视频理解任务
• 多步预测：采用多步 token 预测训练
• 超长上下文：原生支持 262,144 个 token，最长可扩展至 1,010,000 个 token

输入输出格式

支持文本输入、图像输入和视频输入。模型默认处于思考模式，会在生成最终回复前先输出思考内容（以换行符分隔）。通过 API 参数配置可禁用思考模式，直接获取回复。

运行要求

该模型为 FP8 量化版本，兼容 Hugging Face Transformers、vLLM、SGLang、KTransformers 等推理框架。推荐使用 sglang>=0.5.10 或 vllm>=0.19.0。默认上下文长度为 262,144 个 token，若遇到内存不足错误可考虑减少上下文窗口，但为保持思考能力，建议至少保留 128K token 的上下文长度。

基本用法

通过 OpenAI 兼容 API 调用。采样参数建议如下：

• 通用任务的思考模式：temperature=1.0，top p=0.95，top k=20
• 精确编码任务的思考模式（如 WebDev）：temperature=0.6，top p=0.95，top k=20
• 指令模式（非思考模式）：temperature=0.7，top p=0.80，top k=20

大多数查询建议输出长度设为 32,768 个 token；数学和编程竞赛等复杂问题建议设为 81,920 个 token。

支持工具调用功能。支持通过 YaRN 技术处理超长文本，使用时需根据实际应用场景调整缩放因子。

使用 Qwen-Agent 或 Qwen-Code 可快速构建智能体应用。

模型不支持 Qwen3 的软切换功能（/think 和 /nothink）。思考模式为默认开启，需通过 API 参数配置来获取不带思考的直接回复。

许可证

该模型权重以开源形式发布。