模型介绍
中文整理该模型是数据集BAAI/IndustryCorpus2用于31个行业分类
模型细节:
为了提升数据集中行业划分对实际行业的覆盖,并对齐国家标准中定义的行业目录,我们参考国家统计局制定的国民经济行业分类体系和世界知识体系,进行类目的合并和整合,设计了覆盖中英文的最终的31个行业类目。类目表名称如下所示
行业分类模型的数据构造
- 数据构建
- 数据来源:预训练预训练语料抽样和开源文本分类数据,其中预训练语料占比90%,通过数据采样,保证中英文数据占比为1:1
- 标签构造:使用LLM模型对数据进行多次分类判定,筛选多次判定一致的数据作为训练数据
- 数据规模:36K
数据构造的整体流程如下:
模型训练:
参数更新:在预训练的bert模型上添加分类头进行文本分类模型训练
模型选型:考虑的模型性能和推理效率,我们选用了0.5b规模的模型,通过对比实验最终最终选择了bge-m3并全参数训练的方式,作为我们的基座模型
训练超参:全参数训练,max length = 2048,lr=1e-5,batch size=64,,验证集评估acc:86%
how to use
Citation
If you use this classifier or IndustryCorpus2, please cite the source dataset:
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
所选固定版本的完整仓库文件,包括模型权重、配置、分词器,以及作者提供的说明和其他文件。自动保留目录结构,不需要逐个选择或下载。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
