模型介绍
中文整理CCI3-HQ-Classifier
模型用途
这是一个用于判断网页教育价值的分类器，旨在从网络数据集中过滤和策划教育内容。该分类器用于构建CCI3-HQ数据集。
主要能力
分类器可对网页样本进行教育质量评分，评分范围为0至5分，其中0表示无教育价值，5表示高度教育价值。当转换为二分类器（使用3分作为阈值）时，模型达到73%的F1分数。
输入输出
输入：网页样本或网页内容
输出：教育质量分数（0-5的连续值）
运行要求
模型基于BGE-M3架构，在其基础上添加了分类头。模型包含嵌入层和编码器层，推理时需要这些组件支持。
基本用法
分类器可使用transformers库加载。训练时使用了145000个由Qwen2-72B-instruct生成的网页样本注释对，训练20个epoch，学习率为3e-4。训练过程中冻结了嵌入层和编码器层，聚焦于分类头训练，未使用dropout。
限制
范围限制：模型针对小学和初中教育内容设计，对高等教育或专业领域内容可能表现较差。在不同数据集上性能可能有所差异，特别是对分布外的样本。
偏见风险：模型性能依赖训练数据和注释LLM的质量，两者存在的偏见都会影响分类器决策。模型可能对学术性较强的内容产生过拟合，赋予较高分数。建议使用分数大于等于3作为数据筛选阈值。
上下文限制：分类器仅评估单个网页或内容片段，不考虑更广泛的上下文环境，这可能限制其在某些场景下的有效性。
许可证
训练和推理代码可在GitHub上获取。如使用该分类器或CCI3-HQ数据集，请引用相关成果。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
所选固定版本的完整仓库文件，包括模型权重、配置、分词器，以及作者提供的说明和其他文件。自动保留目录结构，不需要逐个选择或下载。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。