Qwen3-VL-32B-Thinking-FP8

Qwen3-VL-32B-Thinking-FP8

模型用途

这是一个FP8量化版本的Qwen3-VL-32B-Thinking模型，采用细粒度fp8量化方法，块大小为128，性能指标与原始BF16模型几乎完全一致。该模型是Qwen系列中最强大的视觉语言模型，具备文本理解与生成、深度视觉感知与推理、长上下文处理、空间与视频动态理解、以及更强的智能体交互能力。

主要能力

视觉Agent：可操作PC和移动端图形界面，识别界面元素，理解功能，调用工具并完成任务。

视觉编码增强：可根据图像和视频生成Draw.io、HTML、CSS、JS代码。

高级空间感知：判断物体位置、视角和遮挡关系，提供更强的2D定位能力，支持3D空间推理和实体AI。

长上下文与视频理解：原生支持256K上下文，可扩展至1M；能处理书籍和长达数小时的视频，具备完整记忆和秒级索引能力。

增强的多模态推理：在STEM和数学领域表现出色，提供因果分析和逻辑严谨、有据可依的回答。

升级的视觉识别：经过更广泛、更高质量的预训练，能够识别名人、动漫、产品、地标、植物、动物等各类内容。

扩展的OCR：支持32种语言（原为19种），在低光、模糊和倾斜环境下表现稳健，对稀有字符、古老字符和专业术语识别能力更强，长文档结构解析能力得到改善。

文本理解：与纯语言模型相当的文本理解能力，实现无损的文本-视觉融合统一理解。

模型架构更新

Interleaved-MRoPE：通过稳健的位置嵌入，在时间、宽度和高度上进行全频率分配，增强长时序视频推理能力。

DeepStack：融合多层ViT特征，捕捉细粒度细节，提升图像-文本对齐精度。

Text-Timestamp Alignment：超越T-RoPE，实现精确的基于时间戳的事件定位，增强视频时序建模能力。

输入输出

输入：支持图像、视频和文本的混合输入，可处理长文档和长视频。

输出：文本回复，可生成代码、进行推理分析、描述视觉内容等。

运行要求

当前🤗 Transformers不支持直接加载这些权重。建议使用vLLM或SGLang进行部署，具体运行命令和部署指南请参考相关文档。

基本用法

推荐使用vLLM或SGLang进行推理部署。详细的部署指南和运行命令请参考社区文档。

限制

模型性能的具体测试数据在文档中标注为占位符，未提供实际性能指标。

许可证

文档中未明确提及许可证相关信息。