Qwen3-VL-30B-A3B-Thinking-GGUF

Qwen3-VL-30B-A3B-Thinking-GGUF

模型用途

Qwen3-VL-30B-A3B-Thinking 是一款多模态视觉语言模型，属于 Qwen3-VL 系列中的推理增强版本。该模型将语言模型与视觉编码器分开提供，均为 GGUF 格式，可用于在个人设备上运行多模态推理任务。

主要能力

视觉Agent：可操作电脑和移动设备的图形界面，识别界面元素、理解功能、调用工具并完成任务。

视觉编码增强：能够根据图像或视频生成 Draw.io 图表或 HTML/CSS/JS 代码。

高级空间感知：可判断物体位置、视角和遮挡关系，提供更强的二维定位能力，并支持三维空间推理和具身智能。

长上下文与视频理解：原生支持 25.6 万 token 上下文，可扩展至 100 万 token；能够处理长篇书籍和数小时视频内容，具备完整记忆和秒级索引能力。

增强的多模态推理：在 STEM 和数学领域表现出色，提供因果分析和逻辑严谨、有据可依的回答。

升级的视觉识别：经过更广泛、更高质量的预训练，能够识别名人、动漫角色、产品、地标、植物和动物等各类内容。

扩展的 OCR 能力：支持 32 种语言（此前为 19 种），在低光、模糊和倾斜环境下表现稳健，对罕见字符、古文字和专业术语的识别能力更强，长文档结构解析能力得到改善。

文本理解能力：实现与纯语言模型相当的文本理解水平，支持无缝的文本与视觉融合，实现无损统一理解。

模型架构更新

Interleaved-MRoPE：通过稳健的位置嵌入在时间、宽度和高度上进行全频段分配，增强长时视频推理能力。

DeepStack：融合多层 ViT 特征，捕捉细粒度细节，提升图像与文本的对齐精度。

Text-Timestamp Alignment：超越 T-RoPE，实现精确的基于时间戳的事件定位，增强视频时序建模能力。

输入输出

输入：支持图像、视频和文本的混合输入，可处理交错的视觉和文本内容。

输出：文本回复，包括对图像内容的理解、推理结果、代码生成等多种形式。

运行要求

兼容工具：llama.cpp、Ollama 等基于 GGUF 的推理工具。

支持硬件：CPU、NVIDIA GPU（CUDA）、Apple Silicon（Metal）、Intel GPU（SYCL）等。

模型格式：语言模型（LLM）提供 FP16、Q8_0、Q4_K_M 精度；视觉编码器（mmproj）提供 FP16、Q8_0 精度。可根据硬件和性能需求混合使用不同精度，也可从 FP16 权重进行自定义量化。

基本用法

CLI 推理：使用 llama.cpp 的命令行工具进行推理。

Web 聊天：启动 llama-server 后，通过浏览器访问本地服务器地址使用聊天界面，或通过 API 端点发送请求。

对于拆分为多个 GGUF 文件的模型，只需指定第一个分片文件，llama.cpp 会自动加载所有部分。

自定义量化：可将 FP16 权重进一步量化为其他精度级别。

限制

该模型为 GGUF 格式转换版本，具体性能和功能限制请参考原始 Qwen3-VL 模型文档。

许可证

请参考原始 Qwen3-VL 模型的许可证条款。