模型介绍
中文整理Qwen3-1.7B-GPTQ-Int8 模型卡片
模型用途
Qwen3-1.7B-GPTQ-Int8 是阿里云推出的Qwen3系列大型语言模型，采用因果语言模型架构，经过预训练和后训练。该模型为1.7B参数规模的量化版本（GPTQ 8-bit），主要用于对话、推理、指令跟随和智能体任务。
主要能力
思考模式与非思考模式无缝切换：模型支持在单一模型内灵活切换思考模式（用于复杂逻辑推理、数学和编程）和非思考模式（用于高效通用对话），可根据场景自动调整。
推理能力显著提升：在数学、代码生成和常识逻辑推理方面超越前代QwQ（思考模式）和Qwen2.5-Instruct模型（非思考模式）。
人类偏好对齐优秀：在创意写作、角色扮演、多轮对话和指令跟随方面表现出色，提供更自然、更具吸引力的对话体验。
智能体能力：支持与外部工具精确集成，在复杂智能体任务中达到开源模型领先性能。
多语言支持：支持100多种语言和方言，具备强大的多语言指令跟随和翻译能力。
输入输出
输入：文本提示（用户消息或系统消息），支持多轮对话历史
输出：生成的文本响应。在思考模式下，响应包含think标签包裹的推理过程和最终答案；在非思考模式下直接输出最终答案。
运行要求
参数规模：总参数1.7B，非嵌入参数1.4B
模型结构：28层Transformer，16个Q注意力头，8个KV注意力头（GQA）
上下文长度：32,768 tokens
量化方式：GPTQ 8-bit
推理框架：支持transformers 0.4.6.post1、vLLM 0.8.4、SGLang
基本用法
通过enable_thinking参数控制思考模式：设置为True时启用思考模式，设置为False时禁用。
思考模式推荐采样参数：Temperature=0.6，TopP=0.95，TopK=20，MinP=0。禁止使用贪婪解码，会导致性能下降和无限重复。
非思考模式推荐采样参数：Temperature=0.7，TopP=0.8，TopK=20，MinP=0。
软切换功能：在enable_thinking=True时，可在用户提示或系统消息中使用/think和/no_think动态切换思考模式。
输出长度建议：大多数查询使用32,768 tokens；复杂数学和编程竞赛题目建议38,912 tokens。
多轮对话历史处理：历史输出只需包含最终答案部分，无需包含思考内容。
限制
思考模式下必须避免贪婪解码，否则会导致性能退化和无限重复。
量化模型建议将presence penalty参数设置为1.5以减少无限重复，但较高值可能导致语言混合和性能轻微下降。
许可证
许可证信息未在原文档中提供。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。