模型介绍
中文整理WeVisOne-VL-4B
WeVisOne-VL**（**We**Chat **Vis**ion All-in-**One**）是腾讯微信视觉团队（WeChat Vision, Tencent Inc.）开发的视觉语言基础模型，基于 **Qwen3-VL** 构建。它通过结构化 next-token prediction 与一个轻量的 **9.6M 参数像素解码器**，统一**目标级**感知（目标检测、referring 定位、计数、指向、OCR）与**像素级**感知（referring 分割、可提示 alpha matting）——支持从点、框到二值掩码与连续 alpha matte 的任意粒度定位，并可靠地拒绝不存在的目标查询。
- *中文名**：微信视觉统一感知模型 4B
本仓库是 tencent/WeVisOne-VL-4B 的镜像，**权重内容未做任何修改**，仅重写了模型卡以适配国内访问。
上游：
项目页： · 论文：
代码：（另含 Mask2Alpha matting 标注器）
在线 Demo：
✨ 亮点
🎯 **All-in-One**：检测、referring、计数、指向、OCR、分割、matting 全部集中在一个模型里；
🪶 **轻量像素解码器**：9.6M 参数的解码器直接输出 masks 与 alpha mattes，**无需 SAM**；
🚫 **可靠拒绝**：目标不存在时返回 None 而非幻觉（WeRef-Bench 拒绝率 96.4%）。
安?
推理
也可用 device （ "auto" / "cuda:0" / "npu:0" / "cpu" ）、 dtype 、 min pixels / max pixels 以及常规解码参数（ max new tokens 、 temperature 等）。
支持的任务
task query 输出
- -- --- --- ---
📦 detection 类别列表 boxes
💬 referring referring 表达式 boxes 或 None
📍 point 类别 / 表达式 points
🔢 count box / count point 类别 / 表达式 boxes / points + 计数
🔤 ocr / ocr grounding – / 待查找文本 text + boxes
🎭 segmentation 类别 / 表达式 boxes + 二值 masks
✂️ matting 类别 / 表达式 boxes + alpha mattes
架构
模型使用专用坐标 token（ ... ）表示归一化边界框与点位；当查询目标不存在时返回 None ；在稠密任务中每个预测框后会输出一个专用实例 token（ ，token ID 152678 ）。
4B 版本基于 Qwen3-VL 搭建：文本侧 36 层、hidden 2560、32 个注意力头；视觉侧 24 层 ViT、patch 16、out hidden size 2560。
附带的 mask decoder.pt 是必需的核心组件，包含：
- *Visual Feature Adapter** —— 基于 Qwen3-VL pre-merging ViT 多层级特征；
- *Box-Guided Query Decoder** —— 6 个可变形交叉注意力块，由 hidden state 初始化，并带 Fourier 编码的 box prior；
- *Instance-Conditioned Dense Prediction Head** —— 含 FullCanvasAlphaCascadeHead ，在 S/4、S/2、S/1 逐级精化，输出 stride 1 的全分辨率连续 alpha matte。
性能一览
F1 取 IoU 0.5:0.95 均值；贪心解码，每图 ≤ 1,960 visual tokens。下表为 4B 与同系列 2B 的对照。
目标检测（F1 Mean ↑）**
Method COCO LVIS Dense200 VisDrone
- -- --- --- --- ---
WeVisOne-VL-2B 55.2 53.3 61.4 40.4
- *WeVisOne-VL-4B** **57.1** **55.3** **71.3** **44.7**
Referring 目标检测（F1 Mean / 拒绝率 %）**
Method RefCOCOg RefCOCOg Rej WeRef Mean WeRef Rej HumanRef Ref-L4
- -- --- --- --- --- --- ---
WeVisOne-VL-2B 78.2 50.2 73.2 92.9 77.4 75.1
- *WeVisOne-VL-4B** **81.8** **67.4** **78.7** **96.4** **80.7** **78.1**
目标计数（精确匹配准确率 %）**
Method CountQA PixMo-Count CLOC KubriCount-B MixCount
- -- --- --- --- --- ---
WeVisOne-VL-2B 47.9 88.1 26.9 32.4 32.2
- *WeVisOne-VL-4B** **57.1** **89.6** **28.3** **40.1** **40.4**
目标指向（Acc ↑）**
Method PointBench PixMo-Points COCO LVIS Dense200 VisDrone
- -- --- --- --- --- --- ---
WeVisOne-VL-2B 62.9 73.2 **85.8** 78.9 83.2 62.4
- *WeVisOne-VL-4B** **71.9** **74.7** 85.4 **79.5** **87.0** **64.4**
OCR（F1 Mean ↑）**
Method HierText ICDAR2015 TotalText SROIE
- -- --- --- --- ---
WeVisOne-VL-2B 30.5 42.6 42.5 62.1
- *WeVisOne-VL-4B** **39.0** **47.8** **52.0** **68.1**
Referring 分割（gIoU ↑）**
Method RefCOCO testA RefCOCO+ testA RefCOCOg ReasonSeg Ref-ZOM cIoU Ref-ZOM Rej
- -- --- --- --- --- --- ---
WeVisOne-VL-2B 82.9 79.0 74.9 60.9 **73.4** 62.4
- *WeVisOne-VL-4B** **84.5** **81.1** **77.8** **71.2** 72.2 **86.0**
Matting（MAD ↓，越低越好）**
Method P3M-500-NP AM-2K PPM-100 WeRefMat (Category) WeRefMat (Referring)
- -- --- --- --- --- ---
WeVisOne-VL-2B **6.6** 5.7 **5.3** 17.7 15.8
- *WeVisOne-VL-4B** 7.3 **5.0** 6.1 **16.4** **9.8**
注意：box matting 的 P3M-500-NP 与 PPM-100 上 **2B 版本反而更好**（MAD 更低），matting 任务并非越大越强。完整基准与更多对照基线（Qwen3-VL-8B、Qwen3.5-9B、Rex-Omni-3B、LocateAnything-3B）见官方仓库。
文件说明
文件 大小 说明
- -- --- ---
model.safetensors 19.3 GB 主权重（bfloat16， Qwen3VLForConditionalGeneration ）
mask decoder.pt 38.5 MB 像素解码器权重，**必需组件**
tokenizer.json 11.6 MB 分词器
tokenizer config.json / chat template.jinja — 分词器配置与对话模板
config.json — 架构配置（Qwen3-VL：36 层文本 / hidden 2560；24 层 ViT / patch 16）
generation config.json / processor config.json — 生成与处理配置
LICENSE — Apache License 2.0
预期用途
本版本面向视觉定位、referring 定位、指向、计数、OCR 定位、referring 分割与图像 matting 等研究用途。**不**用于自主的高影响决策，**不**用于身份识别。
限制
精细 alpha 边界对图像分辨率、严重遮挡、复杂透明度与提示词措辞较敏感；
为提升推理效率，模型直接生成结构化输出而不做显式 CoT 推理；
当前仅面向单轮图像感知，像素解码器会拒绝视频网格输入。
License
除另有说明外，腾讯自研代码以 Apache License 2.0 发布。第三方组件保留其原始许可与版权声明，使用前请查阅对应源文件。
引用
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。