模型介绍
中文整理Qwen3-14B-FP8 模型卡片
模型概述
Qwen3-14B-FP8是Qwen3系列中的FP8量化版本因果语言模型。该模型经过预训练和后训练阶段开发，拥有14.8B参数总量，其中非嵌入参数为13.2B。模型包含40层Transformer结构，采用分组查询注意力机制，Q头数量为40，KV头数量为8。
上下文长度
模型原生支持32,768个tokens的上下文长度。通过YaRN技术可扩展至131,072个tokens。默认最大位置嵌入设置为40,960，其中32,768个tokens预留用于输出，8,192个tokens用于典型提示词。
主要能力
Qwen3提供以下核心能力：
支持在单一模型内无缝切换思考模式和非思考模式。思考模式适用于复杂逻辑推理、数学和编码任务；非Thinking模式适用于高效通用对话。
推理能力显著提升，在数学、代码生成和常识逻辑推理方面超越前代QwQ-32B和Qwen2.5-Instruct模型。
在创意写作、角色扮演、多轮对话和指令遵循方面表现出色，提供更自然、更具吸引力的对话体验。
具备强大的智能体能力，支持在思考和非思考模式下精确集成外部工具，在复杂智能体任务中达到开源模型领先水平。
支持100多种语言和方言，具备强大的多语言指令跟随和翻译能力。
输入输出
输入格式：文本提示词，支持多轮对话历史记录。在多轮对话中，历史输出仅需包含最终输出部分，无需包含思考内容。
输出格式：思考模式下，模型生成的内容包裹在think标签内，随后是最终响应；非思考模式下，模型直接生成最终响应，不包含think块。
运行要求
FP8量化版本采用细粒度fp8量化方法，块大小为128。推理框架支持包括transformers、sglang和vllm。
注意事项：使用transformers进行分布式推理时存在已知问题，当使用多设备推理时可能需要设置环境变量CUDA_LAUNCH_BLOCKING=1。
基本用法
切换思考模式：默认情况下，思考能力已启用。设置enable_thinking=True启用思考模式；设置enable_thinking=False禁用思考模式。
软切换机制：当enable_thinking=True时，用户可在提示词或系统消息中添加/think和/no_think来动态切换思考模式。
采样参数建议：思考模式使用Temperature=0.6、TopP=0.95、TopK=20、MinP=0，禁用贪婪解码；非思考模式使用Temperature=0.7、TopP=0.8、TopK=20、MinP=0。
输出长度：大多数查询建议使用32,768个tokens的输出长度；复杂数学和编程竞赛基准测试建议设置最大输出长度为38,912个tokens。
长文本处理：需要处理超长上下文时，可通过修改config.json中的rope_scaling字段或传递命令行参数启用YaRN。建议仅在处理长上下文时启用YaRN。
智能体应用：推荐使用Qwen-Agent以充分发挥模型的工具调用能力。
许可证
如需引用本工作，请参考相关文献。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。