模型介绍
中文整理coROM中文电商文本表示模型
文本表示是自然语言处理(NLP)领域的核心问题, 其在很多NLP、信息检索的下游任务中发挥着非常重要的作用。近几年, 随着深度学习的发展，尤其是预训练语言模型的出现极大的推动了文本表示技术的效果, 基于预训练语言模型的文本表示模型在学术研究数据、工业实际应用中都明显优于传统的基于统计模型或者浅层神经网络的文本表示模型。这里, 我们主要关注基于预训练语言模型的文本表示。
文本表示示例, 输入一个句子, 输入一个固定维度的连续向量:
输入: 阔腿裤女冬牛仔
输出: [-0.23219466, 0.41309455, 0.26903808, ..., -0.276916]
文本的向量表示通常可以用于文本聚类、文本相似度计算、文本向量召回等下游任务中。
Dual Encoder文本表示模型
基于监督数据训练的文本表示模型通常采用Dual Encoder框架, 如下图所示。在Dual Encoder框架中, Query和Document文本通过预训练语言模型编码后, 通常采用预训练语言模型[CLS]位置的向量作为最终的文本向量表示。基于标注数据的标签, 通过计算query-document之间的cosine距离度量两者之间的相关性。
使用方式和范围
使用方式:
直接推理, 对给定文本计算其对应的文本向量表示，向量维度256
使用范围:
本模型可以使用在电商领域的文本向量表示及其下游应用场景, 包括双句文本相似度计算、query&多doc候选的相似度排序
如何使用
在ModelScope框架上，提供输入文本(默认最长文本长度为128)，即可以通过简单的Pipeline调用来使用coROM文本向量表示模型。ModelScope封装了统一的接口对外提供单句向量表示、双句文本相似度、多候选相似度计算功能
代码示例
默认向量维度256, scores中的score计算两个向量之间的L2距离得到**
模型局限性以及可能的偏差
本模型基于MultiCPR(电商领域)上训练，在其他垂类领域文本上的文本效果会有降低，请用户自行评测后决定如何使用
训练流程
模型: 双塔文本表示模型, 采用coROM模型作为预训练语言模型底座
二阶段训练: 模型训练分为两阶段, 一阶段的负样本数据从官方提供文档集随机采样负样本, 二阶段通过Dense Retrieval挖掘难负样本扩充训练训练数据重新训练
模型采用4张NVIDIA V100机器训练, 超参设置如下:
训练代码示例
模型效果评估
我们主要在文本向量召回场景下评估模型效果, MultiCPR(电商领域)召回评估结果如下:
Model MRR@10
- ------------ --------
CoROM-Retrieval-base 31.85
CoROM-Ranking-base 47.28
CoROM-Retrieval-tiny 19.53
CoROM-Ranking-tiny 39.31
引用
Clone with HTTP
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。