模型详情
模型介绍
中文整理# Qwen3-235B-A22B-Thinking-2507-FP8 模型卡片
模型概述
Qwen3-235B-A22B-Thinking-2507-FP8是阿里云推出的开源大语言模型，采用FP8量化版本。该模型为因果语言模型，基于预训练和后训练阶段开发。
## 主要能力
- *推理能力**：在逻辑推理、数学、科学、编码和学术基准测试中表现优异，在开源思维模型中达到领先水平。特别适用于需要深度思考的复杂推理任务。
- *通用能力**：具备出色的指令遵循、工具调用、文本生成能力，能够与人类偏好良好对齐。
- *长上下文理解**：支持原生262,144个token的上下文长度，具备强大的长文本处理能力。
- *注意**：此版本增加了思考长度，推荐用于高度复杂的推理任务。该模型仅支持思考模式，无需手动设置enable thinking=True。
## 输入输出
- *输入**：文本形式的自然语言指令或问题，支持多轮对话。
- *输出**：文本形式的回答，包含思考过程和最终答案。
运行要求
- *框架支持**：需要transformers 0.4.6.post1或更高版本，或vllm 0.8.5及以上版本。支持SGLang和vLLM进行推理。
- *内存建议**：如遇内存不足问题，可考虑减少上下文长度。由于模型推理可能需要较长的token序列，建议尽可能使用大于131,072的上下文长度。
- *本地部署**：支持Ollama、LMStudio、MLX-LM、llama.cpp和KTransformers等本地应用。
基本用法
- *采样参数建议**：
- Temperature：0.6
- TopP：0.95
- TopK：20
- MinP：0
- 可调整presence penalty参数（0-2）减少重复，但较高值可能导致语言混杂和性能下降
- *输出长度**：大多数查询建议设置32,768个token；数学和编程竞赛等高度复杂问题建议设置81,920个token。
- *输出格式标准化**：
- 数学问题：在提示中加入"Please reason step by step, and put your final answer within \boxed{}."
- 选择题：添加JSON结构要求模型仅输出选项字母
- *多轮对话**：历史消息中只需包含最终输出，不需要包含思考内容。
限制
- 仅支持思考模式
- 模型输出默认包含思考内容
- 高度复杂的推理任务需要较长的输出长度和上下文
许可证
请参阅项目官方页面获取完整的许可证信息。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境
运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。