All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

bge-visualized

BAAI/bge-visualized

Publisher北京智源人工智能研究院(BAAI)Verified

Download access requirementsMirror available

BAAI/bge-visualized-base-en-v1.5 BAAI/bge-visualized-m3 Visualized-BGE是一个通用多模态嵌入模型。通过将图像令牌嵌入到BGE文本嵌入框架中,Visualized-BGE获得了处理多模态数据的灵活性,不仅限于文本。该模型主要用于混合模态检索任务。

Other Models
Model details

模型介绍

中文整理

模型名称

BAAI/bge-visualized-base-en-v1.5

BAAI/bge-visualized-m3

Model use case

Visualized-BGE是一个通用多模态嵌入模型。通过将图像令牌嵌入到BGE文本嵌入框架中,Visualized-BGE获得了处理多模态数据的灵活性,不仅限于文本。该模型主要用于混合模态检索任务。

主要能力

多模态知识检索:查询为文本,候选为图像-文本对、文本或图像,适用于WebQA等数据集。

组合图像检索:查询为图像-文本对,候选为图像,适用于CIRR、 FashionIQ等数据集。

多模态查询的知识检索:查询为图像-文本对,候选为文本,适用于ReMuQ数据集。

完全保留原始BGE模型的强文本嵌入能力。

输入输出

输入:纯文本、纯图像或文本与图像的组合

输出:嵌入向量

模型规格

bge-visualized-base-en-v1.5:维度768,基于BAAI/bge-base-en-v1.5,英语模型

bge-visualized-m3:维度1024,基于BAAI/bge-m3,多语言模型

运行要求

需要下载模型权重文件(bge-visualized-base-en-v1.5或bge-visualized-m3)

需要安装FlagEmbedding库

不需要安装xformer和apex,这些不是推理所必需的,且经常会导致问题

基本用法

安装FlagEmbedding库

下载模型权重文件并将路径传递给模型参数

根据任务类型使用模型进行编码:组合图像检索、多模态知识检索或多语言多模态检索

限制

虽然技术上可以用于跨模态检索(文本到图像),但不推荐使用。模型专注于增强混合模态检索任务的视觉能力。

License

原文未提供许可证相关信息。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top