闲社服务运行正常AI智能体自动化平台

IndustryCorpus2_Classifier

BAAI/IndustryCorpus2_Classifier

发布机构北京智源人工智能研究院(BAAI)已核实

已核对来源国内镜像可用

该模型是数据集BAAI/IndustryCorpus2用于31个行业分类 为了提升数据集中行业划分对实际行业的覆盖,并对齐国家标准中定义的行业目录,我们参考国家统计局制定的国民经济行业分类体系和世界知识体系,进行类目的合并和整合,设计了覆盖中英文的最终的31个行业类目。类目表名称如下所示 数据来源:预训练预训练语料抽样和开源文本分类数据,其中预训练语料占比90%,通过数据采样,保证中英文数据占比为1:1

其他模型
模型详情

模型介绍

中文整理

该模型是数据集BAAI/IndustryCorpus2用于31个行业分类

模型细节:

为了提升数据集中行业划分对实际行业的覆盖,并对齐国家标准中定义的行业目录,我们参考国家统计局制定的国民经济行业分类体系和世界知识体系,进行类目的合并和整合,设计了覆盖中英文的最终的31个行业类目。类目表名称如下所示

行业分类模型的数据构造

  • 数据构建
  • 数据来源:预训练预训练语料抽样和开源文本分类数据,其中预训练语料占比90%,通过数据采样,保证中英文数据占比为1:1
  • 标签构造:使用LLM模型对数据进行多次分类判定,筛选多次判定一致的数据作为训练数据
  • 数据规模:36K

数据构造的整体流程如下:

模型训练:

参数更新:在预训练的bert模型上添加分类头进行文本分类模型训练

模型选型:考虑的模型性能和推理效率,我们选用了0.5b规模的模型,通过对比实验最终最终选择了bge-m3并全参数训练的方式,作为我们的基座模型

训练超参:全参数训练,max length = 2048,lr=1e-5,batch size=64,,验证集评估acc:86%

how to use

Citation

If you use this classifier or IndustryCorpus2, please cite the source dataset:

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

所选固定版本的完整仓库文件,包括模型权重、配置、分词器,以及作者提供的说明和其他文件。自动保留目录结构,不需要逐个选择或下载。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部