模型介绍
中文整理Qwen3-4B-Thinking-2507-FP8
模型用途
这是一个大规模语言模型，主要用于复杂推理任务。模型经过预训练和后训练，具备强大的思考能力，适用于需要深度推理的场景。
主要能力
推理能力显著提升，包括逻辑推理、数学、科学、编码和学术基准测试。通用能力增强，涵盖指令遵循、工具使用、文本生成和人类偏好对齐。支持原生262,144个token的长上下文理解。该版本思考长度增加，建议用于高复杂度推理任务。
输入输出
模型类型为因果语言模型，仅支持思考模式。指定enable thinking=True不再是必需操作，默认聊天模板自动包含think标签。模型输出中仅包含think标签而没有显式的开始标签属于正常现象。
运行要求
模型为FP8量化版本，量化方法为细粒度FP8量化，块大小为128。建议上下文长度大于131,072 tokens。如果遇到内存不足问题，可考虑减小上下文长度，但由于模型推理可能需要更长的token序列，尽可能使用较大的上下文长度。
基本用法
推荐采样参数：Temperature=0.6，TopP=0.95，TopK=20，MinP=0。presence penalty参数可在0到2之间调整以减少重复，但较高值可能导致语言混用和性能轻微下降。
输出长度建议：一般查询使用32,768 tokens，高复杂度问题（如数学和编程竞赛）建议设置最大输出长度为81,920 tokens。
标准化输出格式：数学问题提示中包含"Please reason step by step, and put your final answer within \boxed{}."；多选题提示中添加JSON结构指定答案字段。
多轮对话中，历史记录只需包含最终输出部分，无需包含思考内容。
许可证
原文未提供许可证相关信息。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。