模型介绍
中文整理模型名称
BAAI/bge-visualized-base-en-v1.5
BAAI/bge-visualized-m3
模型用途
Visualized-BGE是一个通用多模态嵌入模型。通过将图像令牌嵌入到BGE文本嵌入框架中，Visualized-BGE获得了处理多模态数据的灵活性，不仅限于文本。该模型主要用于混合模态检索任务。
主要能力
多模态知识检索：查询为文本，候选为图像-文本对、文本或图像，适用于WebQA等数据集。
组合图像检索：查询为图像-文本对，候选为图像，适用于CIRR、 FashionIQ等数据集。
多模态查询的知识检索：查询为图像-文本对，候选为文本，适用于ReMuQ数据集。
完全保留原始BGE模型的强文本嵌入能力。
输入输出
输入：纯文本、纯图像或文本与图像的组合
输出：嵌入向量
模型规格
bge-visualized-base-en-v1.5：维度768，基于BAAI/bge-base-en-v1.5，英语模型
bge-visualized-m3：维度1024，基于BAAI/bge-m3，多语言模型
运行要求
需要下载模型权重文件（bge-visualized-base-en-v1.5或bge-visualized-m3）
需要安装FlagEmbedding库
不需要安装xformer和apex，这些不是推理所必需的，且经常会导致问题
基本用法
安装FlagEmbedding库
下载模型权重文件并将路径传递给模型参数
根据任务类型使用模型进行编码：组合图像检索、多模态知识检索或多语言多模态检索
限制
虽然技术上可以用于跨模态检索（文本到图像），但不推荐使用。模型专注于增强混合模态检索任务的视觉能力。
许可证
原文未提供许可证相关信息。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。