Qwen3-0.6B-GPTQ-Int8

Qwen3-0.6B-GPTQ-Int8 模型卡片

模型概述

Qwen3-0.6B是一款因果语言模型，采用预训练和后训练两个阶段。模型参数量为0.6B，非嵌入参数约0.44B，包含28层网络结构。注意力机制采用分组查询注意力（GQA），Q头数量为16，KV头数量为8。上下文长度支持32,768个token，采用GPTQ 8位量化技术。

主要能力

Qwen3是通义千问系列最新一代大语言模型，提供密集模型和混合专家（MoE）模型。该模型在推理、指令遵循、智能体能力和多语言支持方面实现突破性进展。

核心特点包括：支持在单一模型内无缝切换思考模式和非思考模式。思考模式适用于复杂逻辑推理、数学和编程任务；非思考模式适用于高效通用对话。推理能力显著提升，在数学、代码生成和常识逻辑推理方面超越前代模型。在创意写作、角色扮演、多轮对话和指令遵循方面表现出色，提供更自然、更具吸引力的对话体验。具备强大的智能体能力，能够精确整合外部工具，在复杂智能体任务中达到开源模型领先水平。支持100多种语言和方言，具备强大的多语言指令遵循和翻译能力。

输入输出

输入：文本形式的用户指令或对话，可包含系统消息和历史对话记录。支持通过/think和/no think标签在多轮对话中动态切换思考模式。

输出：文本形式的回复。在思考模式下，回复包含think内容块和最终答案；在非思考模式下，仅输出最终答案。

运行要求

模型采用GPTQ 8位量化，适合在消费级GPU上运行。具体硬件要求请参考官方文档。

基本用法

通过Hugging Face transformers库加载模型，建议使用最新版本transformers=0.4.6.post1或vllm==0.8.4。也可使用SGLang创建OpenAI兼容的API端点。

思考模式切换：使用enable thinking=True参数启用思考模式，模型将生成think内容块。使用enable thinking=False参数禁用思考模式，模型行为与Qwen2.5-Instruct系列相似。

采样参数设置：思考模式建议使用Temperature=0.6、TopP=0.95、TopK=20、MinP=0，勿使用贪婪解码。非思考模式建议使用Temperature=0.7、TopP=0.8、TopK=20、MinP=0。为减少重复输出，建议将presence penalty参数设置为1.5。

输出长度：大多数查询建议使用32,768个token的输出长度。对于数学和编程竞赛等高度复杂问题，建议将最大输出长度设置为38,912个token。

限制

在思考模式下使用贪婪解码可能导致性能下降和无限重复。量化模型在高presence penalty值下可能偶尔出现语言混合和性能轻微下降。软切换机制仅在enable thinking=True时有效。

许可证

请参考官方许可证信息。