模型介绍
中文整理基于StructBERT的司法预训练模型介绍
该模型在StructBERT预训练模型的基础上使用400GB司法语料进行预训练。训练语料涵盖了裁判文书、法律法规、庭审笔录、法律问答和法律百科等司法领域文本。
模型描述
本模型为Tiny规模（Layer-4 / Hidden-256 / Head-4)，参数规模约为9M。
预训练语料
200GB通用语料和400GB司法语料，共计2150亿个tokens，涵盖了裁判文书、法律法规、庭审笔录、法律问答和法律百科等司法领域文本。
由于司法文书格式十分规范，为了防止模型过拟合，在处理预训练数据时，基于自建的司法文书结构化引擎标识出了司法文书各类段落（如诉情、辩称、事实认定、审理经过等等），接着针对不同的司法文本内容采取了不同的采样规则。
预训练任务
在预训练任务方面结合了token-level和sentence-level的任务。
token-level的预训练任务主要以MLM任务为主 ，shuffle任务和random任务的预测为辅。
句级别的预训练任务以simcse为主。
期望模型使用方式以及适用范围
本模型主要用于中文相关下游任务微调。用户可以基于自有训练数据进行微调。具体调用方式请参考代码示例。
如何使用
在安装完成ModelScope之后即可基于nlp structbert backbone tiny law进行下游任务finetune。
代码范例
模型局限性以及可能的偏差
基于司法领域数据进行训练得到，在其他领域的表现存在一定的偏差。
模型评估及结果
相关论文以及引用信息
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。