Qwen3-VL-30B-A3B-Instruct-FP8

# Qwen3-VL-30B-A3B-Instruct-FP8

模型概述

这是一个FP8量化版本的Qwen3-VL-30B-A3B-Instruct模型。量化方法为细粒度fp8量化，块大小为128，其性能指标与原始BF16模型几乎完全一致。

模型用途

Qwen3-VL是Qwen系列目前最强大的视觉语言模型。该模型可用于：PC和移动端GUI自动化操作、视觉编码生成、空间感知推理、长文本和视频理解、多模态推理、视觉识别以及OCR文字识别。

## 主要能力

• *视觉代理**：可操作PC和移动端图形界面，识别界面元素，理解功能并调用工具完成复杂任务。

• *视觉编码增强**：能够根据图像和视频生成Draw.io图表及HTML/CSS/JS代码。

• *高级空间感知**：可判断物体位置、视角和遮挡关系，具备更强的2D视觉定位能力，并支持3D空间推理和具身AI应用。

• *长上下文与视频理解**：原生支持256K上下文长度，可扩展至1M；能够处理书籍和小时级长视频，具备完整记忆和秒级索引能力。

• *增强的多模态推理**：在STEM和数学领域表现出色，提供因果分析和逻辑严谨、有据可依的回答。

• *升级的视觉识别**：经过更广泛、更高质量的预训练，能够识别名人、动漫角色、产品、地标、动植物等各类内容。

• *扩展的OCR能力**：支持32种语言（相比前代19种有显著提升）；在低光、模糊、倾斜等复杂环境下表现稳健；对罕见字、古文字和专业术语识别能力更强；长文档结构解析能力得到改善。

• *文本理解能力**：实现与纯文本LLM相当的文本理解水平，支持无缝的文本-视觉融合，实现无损统一理解。

## 模型架构更新

• *Interleaved-MRoPE**：通过稳健的位置嵌入，在时间、宽度和高度维度上实现全频率分配，显著增强长程视频推理能力。

• *DeepStack**：融合多层ViT特征，捕捉细粒度细节，提升图像-文本对齐精度。

• *文本-时间戳对齐**：超越T-RoPE，实现精确的基于时间戳的事件定位，强化视频时序建模能力。

运行要求

推荐使用vLLM或SGLang进行部署。具体运行环境要求和部署配置请参考相关部署文档。

基本用法

当前版本的🤗 Transformers不支持直接加载这些权重。建议使用vLLM或SGLang进行推理部署。

许可证

如需引用本工作，请按相关引用格式注明。