bge-large-zh

FlagEmbedding

模型列表

Frequently Asked Questions

使用方法

模型评估

模型训练

Contact

License

English 中文

将任意文本映射为低维稠密向量，以用于检索、分类、聚类或语义匹配等任务，并可支持为大模型调用外部知识。

🌟**Updates**🌟 *************

08/09/2023: BGE模型整合入Langchain, 可以在langchain中非常简单的使用它; C-MTEB中文榜单已在线更新.

08/05/2023: 发布更小的模型(base, small), **在同尺寸模型中取得最好的性能！ 🤗**

08/02/2023: :tada: :tada: 发布中英文向量模型BGE(BAAI General Embedding的缩写), **在MTEB和C-MTEB榜单上取得最好的性能**

08/01/2023: 发布大规模中文文本向量评测榜单 (**C-MTEB**), 其包括31个测试任务.

Model List

Model Language Description query instruction for retrieval\*

:------------------------------- :--------: :--------: :--------:

BAAI/bge-large-en English :trophy: 在 MTEB 榜单上排名**第一** Represent this sentence for searching relevant passages:

BAAI/bge-base-en English 在 MTEB 榜单上排名**第二** Represent this sentence for searching relevant passages:

BAAI/bge-small-en English small-scale模型，性能高于很多开源large-scale模型，推理更高效 Represent this sentence for searching relevant passages:

BAAI/bge-large-zh Chinese :trophy: 在 C-MTEB 榜单上排名**第一** 为这个句子生成表示以用于检索相关文章：

BAAI/bge-large-zh-noinstruct Chinese 在 C-MTEB 榜单上排名**第二** --

BAAI/bge-base-zh Chinese base-scale模型，与bge-large性能类似，但推理更快，向量维度更小 为这个句子生成表示以用于检索相关文章：

BAAI/bge-small-zh Chinese small-scale模型，推理比base模型更快 为这个句子生成表示以用于检索相关文章：

\*: 如果您需要为一个**简短的查询搜索相关的长文档**，您需要在查询中添加指令；在其他情况下，不需要指令，直接使用原始查询即可。在任何情况下，您都**不需要为候选文档增加指令**。

Frequently Asked Questions

• 不相似句子之间的相似度分数很高

当前BGE模型的相似度分布并不是\[0, 1\]区间的均匀分布，其大概处于\[0.6, 1\]这个区间，因此并不是大于0.6就代表相似。

尤其是对于长度较短句子之间的相似度，当前模型的相似度数值会偏高。

对于检索任务或者相似度任务，影响结果的是不同句子间相似度的相对大小关系，而不是绝对数值。**

如若需要根据相似度阈值筛选相似句子，请根据实际数据上的相似度分布情况，使用一个合适的相似度阈值（如0.8, 0.85，甚至是0.9）。

• 什么时候需要添加查询指令

对于一个使用短查询寻找相关长文档的检索任务，查询与文档之间长度非常不一致，推荐为短查询添加指令。

其他任务，推荐不添加指令，例如，像quora这类用一个较短的问题去搜索其他相关的短问题，推荐不添加指令。

具体是否添加指令，可以根据实际情况选择其中表现最好的方式。

在所有情况下，文档端都不用添加指令，只是查询端可以选择是否添加指令。

Usage

这里展示了一些通过

FlagEmbedding, Sentence-Transformers, Langchain, or Huggingface Transformers.

使用 bge 模型的方法。

Using FlagEmbedding

如果您使用了镜像，可能无法找到最新版的FlagEmbedding。

可以参考FlagEmbedding 下载改项目进行安装。

Instruction参数 query instruction for retrieval 请参照： Model List.

FlagModel支持GPU也支持CPU推理。如果GPU可用，其默认优先使用GPU。如果想禁止其使用GPU，设置 os.environ["CUDA VISIBLE DEVICES"]=""

为提高效率，FlagModel默认会使用所有的GPU进行推理。如果想要使用具体的GPU，请设置 os.environ["CUDA VISIBLE DEVICES"] 。

Using Sentence-Transformers

安装 sentence-transformers:

基于Sentence-Transformers的使用方法:

对于短查询到长文档的检索任务，

每个查询都应该以一条指令开始(指令参考 Model List).

但对于文档，不需要添加任何指令。

Using Langchain

在Langchian中使用bge模型：

Using HuggingFace Transformers

使用transformers库时，您可以这样使用模型:首先，将输入传递给transformer模型，然后选择第一个标记的最后一个隐藏状态(即[CLS])作为句子嵌入。

Evaluation

baai-general-embedding 模型在MTEB和C-MTEB排行榜上都实现了**最先进的性能**!

更多细节和评估脚本请参见 C MTEB.

• *MTEB**:

Model Name Dimension Sequence Length Average (56) Retrieval (15) Clustering (11) Pair Classification (3) Reranking (4) STS (10) Summarization (1) Classification (12)

:----: :---: :---: :---: :---: :---: :---: :---: :---: :---: :---:

• *bge-large-en** 1024 512 **63.98** **53.9** **46.98** 85.8 **59.48** 81.56 32.06 **76.21**
• *bge-base-en** 768 512 63.36 53.0 46.32 85.86 58.7 81.84 29.27 75.27

gte-large 1024 512 63.13 52.22 46.84 85.00 59.13 83.35 31.66 73.33

gte-base 768 512 62.39 51.14 46.2 84.57 58.61 82.3 31.17 73.01

e5-large-v2 1024 512 62.25 50.56 44.49 86.03 56.61 82.05 30.19 75.24

• *bge-small-en** 384 512 62.11 51.82 44.31 83.78 57.97 80.72 30.53 74.37

instructor-xl 768 512 61.79 49.26 44.74 86.62 57.29 83.06 32.32 61.79

e5-base-v2 768 512 61.5 50.29 43.80 85.73 55.91 81.05 30.28 73.84

gte-small 384 512 61.36 49.46 44.89 83.54 57.7 82.07 30.42 72.31

text-embedding-ada-002 1536 8192 60.99 49.25 45.9 84.89 56.32 80.97 30.8 70.93

e5-small-v2 384 512 59.93 49.04 39.92 84.67 54.32 80.39 31.16 72.94

sentence-t5-xxl 768 512 59.51 42.24 43.72 85.06 56.42 82.63 30.08 73.42

all-mpnet-base-v2 768 514 57.78 43.81 43.69 83.04 59.36 80.28 27.49 65.07

sgpt-bloom-7b1-msmarco 4096 2048 57.59 48.22 38.93 81.9 55.65 77.74 33.6 66.19

all-MiniLM-L12-v2 384 512 56.53 42.69 41.81 82.41 58.44 79.8 27.9 63.21

all-MiniLM-L6-v2 384 512 56.26 41.95 42.35 82.37 58.04 78.9 30.81 63.05

contriever-base-msmarco 768 512 56.00 41.88 41.1 82.54 53.14 76.51 30.36 66.68

sentence-t5-base 768 512 55.27 33.63 40.21 85.18 53.09 81.14 31.39 69.81

• *C-MTEB**:

我们建立了一个中文文本嵌入的基准测试集合C-MTEB，其包括6个任务的31个数据集。

请参阅C MTEB获取详细介绍。

Model Embedding dimension Avg Retrieval STS PairClassification Classification Reranking Clustering

:------------------------------- :--------: :--------: :--------: :--------: :--------: :--------: :--------: :--------:

• *bge-large-zh** 1024 **64.20** **71.53** **53.23** **78.94** 72.26 **65.11** 48.39
• *bge-large-zh-noinstruct** 1024 63.53 70.55 50.98 76.77 **72.49** 64.91 **50.01**
• *BAAI/bge-base-zh** 768 62.96 69.53 52.05 77.5 70.98 64.91 47.63
• *BAAI/bge-small-zh** 512 58.27 63.07 46.87 70.35 67.78 61.48 45.09

m3e-base 768 57.10 56.91 48.15 63.99 70.28 59.34 47.68

m3e-large 1024 57.05 54.75 48.64 64.3 71.22 59.66 48.88

text-embedding-ada-002(OpenAI) 1536 53.02 52.0 40.61 69.56 67.38 54.28 45.68

luotuo 1024 49.37 44.4 39.41 66.62 65.29 49.25 44.39

text2vec 768 47.63 38.79 41.71 67.41 65.18 49.45 37.66

text2vec-large 1024 47.36 41.94 41.98 70.86 63.42 49.16 30.02

Train

本节将介绍我们用于训练通用嵌入向量的方法。

训练脚本在FlagEmbedding中。

同时，我们提供了一些示例来进行预训练和微调。

• RetroMAE Pre-train**

我们按照 retromae 方法对模型进行预训练，

其在检索任务中表现出了良好的性能( 参考论文 )。

预训练是在24块A100(40G) gpu上进行的，batch大小为720。在retromae中，编码器和解码器的掩码率分别为0.3和0.5。

使用AdamW优化器，学习率为2e-5。

Pre-training data**:

English:

• Pile
• wikipedia
• msmarco

Chinese:

• wudao

• Finetune**

我们使用对比学习训练模型，输入数据的格式是一个三元组' (query, positive, negative) '。

除了三元组中的负样本，我们还使用了in-batch的负样本。我们采用 跨设备负样本共享方法

在不同的gpu之间共享负样本，这会显著地**增加负样本的数量**。

我们在48块A100(40G) gpu上训练模型，batch大小为32,768。

我们使用AdamW优化器，学习率为1e-5。

对比损失的温度系数为0.01。

同时，我们在训练中为短查询到长文档的检索任务中的查询添加了instruction。

对于英语，指令是 Represent this sentence for searching relevant passages: ;

对于中文，指令是 为这个句子生成表示以用于检索相关文章： .

在评测中，针对段落检索任务，需要在查询中添加指令，但不需要为段落文档添加指令。

微调脚本可以在这个存储库中访问:FlagEmbedding, 你可以用它轻松地微调你的模型。

Training data**:

对于英语，我们从 wikipedia ， cc-net 等收集了2.3亿个文本对。

对于中文，我们从 悟道 、simclue等收集了1.2亿对文本。

我们计划在将来发布训练数据集。

Schedule

[x] Chinese Massive Text Embedding Benchmark

[x] release baai-general-embedding models

[x] release codes for training

[ ] Multilingual model

[ ] Training Datasets

[ ] ...

我们将不断更新向量模型和代码，希望能促进社区的发展。

Contact

如果您有任务疑问或者建议，欢迎提交issue和PR,

也可以发送邮件给 Shitao Xiao(stxiao@baai.ac.cn) and Zheng Liu(liuzheng@baai.ac.cn).

License

FlagEmbedding基于MIT License开源协议。发布的模型权重可商用。

Clone with HTTP