模型介绍
中文整理- 与 knowlm-13b-zhixi 的区别
📏 2.信息抽取模板
- 常见的主题关系类型
- 现成数据集
- 转换脚本
- 使用
- 评估
- 与 knowlm-13b-zhixi 的区别
与 zjunlp/knowlm-13b-zhixi 相比,zjunlp/knowlm-13b-ie 在信息抽取方面表现出略强的实用性,但其一般适用性下降。
zjunlp/knowlm-13b-ie 从中英文信息抽取数据集中采样约 10% 的数据,然后进行负采样。例如,如果数据集 A 包含标签 [a,b,c,d,e,f],我们首先从 A 中采样出 10% 的数据。对于给定的样本 s,它可能只包含标签 a 和 b。我们随机地添加原本没有的关系,比如来自指定关系候选列表的 c 和 d。当遇到这些额外的关系时,模型可能会输出类似 'NAN' 的文本。这种方法使模型在一定程度上具备生成 'NAN' 输出的能力,增强了其信息抽取能力,但削弱了其泛化能力。
📏 2.信息抽取模板
模版 template 用于构造输入模型的**指令** instruction , 由三部分组成:
- **任务描述**:明确模型的职能及其需完成的任务,例如实体识别、关系抽取、事件抽取等。
- **候选标签列表{s schema}(可选)**:定义模型需要提取的标签类别,如实体类型、关系类型、事件类型等。
- **结构化输出格式{s format}**:指明模型应如何呈现其抽取的结构化信息。
指定候选标签列表**的模版:
不指定候选标签列表的模版
候选标签列表{s schema}
结构输出格式{s format}
这些模板中的schema({s schema})和结构输出格式({s format})占位符被嵌入在模板中,用户必须指定。
有关模板的更全面理解,请参阅配置目录configs 和 文件ner converter.py、re converter.py、ee converter.py、eet converter.py、eea converter.py .
- 常见的主题关系类型
此处 schema 提供了12种文本主题, 以及该主题下常见的关系类型。
- 转换脚本
训练数据转换**
在对模型进行数据输入之前,需要将**数据格式化**以包含 instruction 和 input 字段。为此,我们提供了一个脚本 kg2instruction/convert.py,它可以将数据批量转换成模型可以直接使用的格式。
在使用 kg2instruction/convert.py 脚本之前,请确保参考了 data 目录。该目录详细说明了每种任务所需的数据格式要求。请参考 sample.json 以了解转换前数据的格式,schema.json 则展示了 schema 的组织结构,而 processed.json 则描述了转换后的数据格式。
bash
python kg2instruction/convert.py \
- -src path data/NER/sample.json \
- -tgt path data/NER/processed.json \
- -schema path data/NER/schema.json \
- -language zh \ # 不同语言使用的template及转换脚本不同
- -task NER \ # ['RE', 'NER', 'EE', 'EET', 'EEA'] 5种任务
- -sample -1 \ # 若为-1, 则从20种指令和4种输出格式中随机采样其中一种, 否则即为指定的指令格式, -1
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
