闲社服务运行正常AI智能体自动化平台

Qwen3.6-27B-MTP-GGUF

unsloth/Qwen3.6-27B-MTP-GGUF

发布机构unsloth

下载访问条件魔搭来源

上下文长度:原生支持262144个token,可扩展至1010000个token 代理编程:模型能够更流畅准确地处理前端工作流和仓库级推理任务 思考保留:新增选项可保留历史消息中的推理上下文,优化迭代开发流程

图文理解推理思考编程开发
模型详情

模型介绍

中文整理

模型名称:Qwen3.6-27B

模型类型:因果语言模型,带视觉编码器

训练阶段:预训练和后训练

语言模型参数

参数量:27B

隐藏层维度:5120

词表大小:248320

层数:64

上下文长度:原生支持262144个token,可扩展至1010000个token

主要能力

代理编程:模型能够更流畅准确地处理前端工作流和仓库级推理任务

思考保留:新增选项可保留历史消息中的推理上下文,优化迭代开发流程

工具调用改进:提升嵌套对象解析能力,提高工具调用成功率

多token预测:启用MTP可实现约1.5-2倍推理速度提升,且无精度损失

视觉理解:支持图像和视频输入

超长文本处理:原生支持最长262144个token的上下文长度

输入输出

支持纯文本输入、图像输入、视频输入

输出文本内容

默认启用思考模式,生成思考内容后输出最终回复

可通过API参数切换至非思考模式获取直接回复

运行要求

推荐使用SGLang、vLLM、KTransformers或Hugging Face Transformers进行推理

建议至少保留128K token的上下文长度以保持思考能力

处理超长上下文时可能出现内存溢出,建议根据硬件条件调整上下文窗口

生产环境推荐使用专用推理引擎以获得最佳性能和吞吐量

基本用法

通过OpenAI兼容API调用

采样参数建议:

通用任务思考模式:temperature=1.0, top_p=0.95, top_k=20

精确编码任务思考模式:temperature=0.6, top_p=0.95, top_k=20

非思考模式:temperature=0.7, top_p=0.80, top_k=20

大多数查询建议将输出长度设置为32768个token

复杂数学和编程竞赛任务建议设置为81920个token

限制

默认启用思考模式,模型会在回复前进行推理

不支持Qwen3的软切换功能(/think和/nothink)

需通过API参数配置来切换思考/非思考模式

使用超长上下文时需注意内存管理

许可证

本仓库包含Hugging Face Transformers格式的模型权重和配置文件

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部