模型介绍
中文整理Qwen3-VL-2B-Instruct-GGUF
模型简介
本仓库提供Qwen3-VL-2B-Instruct的GGUF格式权重，分为两个组件：语言模型（LLM）和视觉编码器（mmproj）。这些文件兼容llama.cpp、Ollama及其他基于GGUF的工具，支持在CPU、NVIDIA GPU（CUDA）、Apple Silicon（Metal）、Intel GPU（SYCL）等设备上运行推理。用户可根据硬件和性能需求混合使用不同精度，也可从FP16权重开始进行自定义量化。
主要能力
视觉Agent：可操作PC/移动设备图形界面，识别界面元素、理解功能、调用工具、完成复杂任务。
视觉编码增强：能从图像或视频生成Draw.io图表及HTML/CSS/JS代码。
高级空间感知：判断物体位置、视角和遮挡关系；提供更强的2D定位能力，并支持空间推理和具身AI的3D定位。
长上下文与视频理解：原生支持256K上下文，可扩展至100万；能处理书籍和长达数小时的视频内容，具备完整回忆和秒级索引能力。
增强的多模态推理：在STEM和数学领域表现优异，提供因果分析和逻辑严谨、有据可查的回答。
升级的视觉识别：经过更广泛、更高质量的预训练，能够识别各类内容，包括名人、动漫、产品、地标、植物和动物等。
扩展的OCR能力：支持32种语言（在原有19种基础上增加），在低光、模糊和倾斜环境下表现稳健，对罕见字符、古文字和专业术语识别能力更强，长文档结构解析能力提升。
与纯语言模型相当的文本理解：实现无缝的文本-视觉融合，提供无损、统一的全方位理解能力。
架构更新
Interleaved-MRoPE：通过稳健的位置嵌入，在时间、宽度和高度上进行全频率分配，增强长时序视频推理能力。
DeepStack：融合多层级ViT特征，捕捉细粒度细节，提升图像-文本对齐精度。
文本-时间戳对齐：超越T-RoPE，实现精确的基于时间戳的事件定位，强化视频时序建模能力。
运行要求
需使用llama.cpp最新版本（从源码构建或下载最新发布版本）。支持CPU、NVIDIA GPU、Apple Silicon、Intel GPU等多种硬件平台推理。
基本用法
命令行推理：使用llama-mtmd-cli工具进行推理。例如，使用FP16视觉编码器和Q8_0量化语言模型运行Qwen3-VL-2B-Instruct。
Web聊天界面：使用llama-server启动服务，通过OpenAI兼容API提供Web UI。服务启动后，可在浏览器访问http://localhost:8080使用内置聊天界面，或向/v1/chat/completions端点发送请求。对于拆分为多个GGUF文件的模型，只需指定第一个分片（如...-00001-of-00003.gguf），llama.cpp会自动加载所有部分。
自定义量化：可将FP16权重进一步量化到其他精度级别。例如，使用llama-quantize工具将模型量化为2-bit。具体支持量化类型和详细说明请参考量化文档。
许可证
原文未提供许可证相关信息。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。