Qwen3-VL-32B-Thinking-GGUF

Qwen3-VL-32B-Thinking-GGUF

模型用途

Qwen3-VL-32B-Thinking是一款多模态视觉语言模型，属于Qwen3系列中专注于推理能力增强的版本。该模型支持图像、视频和文本的联合理解与生成，可运行于个人设备上。

主要能力

视觉代理：能够识别PC和移动端GUI界面元素，理解功能并调用工具完成自动化任务。

视觉编程增强：可根据图像或视频内容生成Draw.io图表或HTML/CSS/JS代码。

高级空间感知：可判断物体位置、视角和遮挡情况，支持2D grounding和3D空间推理，适用于具身AI场景。

长上下文与视频理解：原生支持25.6万token上下文，可扩展至100万token；能够处理长篇文档和时长数小时的视频内容，具备完整记忆和秒级索引能力。

增强的多模态推理：在STEM和数学领域表现优异，能够进行因果分析和逻辑推理，提供有据可依的答案。

升级的视觉识别：经过更广泛、更高质量的预训练，支持识别名人、动漫角色、产品、地标、植物和动物等。

扩展的OCR能力：支持32种语言（此前为19种），在低光、模糊和倾斜条件下表现稳健，对罕见字符和古代文字识别能力增强，长文档结构解析效果提升。

文本理解：实现与纯文本大语言模型相当的文本理解能力，支持无损的文本-视觉融合理解。

模型架构更新

Interleaved-MRoPE：通过稳健的位置嵌入在时间、宽度和高度维度上进行全频率分配，增强长时视频推理能力。

DeepStack：融合多层ViT特征，捕捉细粒度细节并提升图像-文本对齐精度。

文本-时间戳对齐：超越T-RoPE，实现基于精确时间戳的事件定位，增强视频时序建模能力。

输入输出

输入：图像、视频、文本提示

输出：文本响应

运行要求

支持在CPU、NVIDIA GPU（CUDA）、Apple Silicon（Metal）、Intel GPU（SYCL）等硬件上运行。兼容llama.cpp、Ollama及其他基于GGUF的工具。

提供语言模型和视觉编码器的多种精度组合：语言模型支持FP16、Q8_0、Q4_K_M；视觉编码器支持FP16、Q8_0。用户可根据硬件条件和性能需求灵活选择精度组合，也可从FP16权重开始进行自定义量化。

基本用法

使用llama.cpp进行推理时，需确保使用最新版本。模型支持命令行推理和基于Web的聊天界面两种使用方式。

对于分割为多个GGUF文件的模型，只需指定第一个分片文件，llama.cpp会自动加载所有部分。

服务器运行后，可通过本地浏览器访问内置聊天界面，或向API端点发送请求。

如需进一步量化FP16权重，可参考量化文档获取支持的量化类型和详细操作说明。

许可证

如需引用本工作，请参照相关引用规范。