All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

knowlm-13b-ie

ZJUNLP/knowlm-13b-ie

PublisherZJUNLP

Download access requirementsModelScope source

1.与 knowlm-13b-zhixi 的区别 1.与 knowlm-13b-zhixi 的区别 与 zjunlp/knowlm-13b-zhixi 相比,zjunlp/knowlm-13b-ie 在信息抽取方面表现出略强的实用性,但其一般适用性下降。

Text Chat
Model details

模型介绍

中文整理
  • 与 knowlm-13b-zhixi 的区别

📏 2.信息抽取模板

  • 常见的主题关系类型
  • 现成数据集
  • 转换脚本
  • 使用
  • 评估
  • 与 knowlm-13b-zhixi 的区别

与 zjunlp/knowlm-13b-zhixi 相比,zjunlp/knowlm-13b-ie 在信息抽取方面表现出略强的实用性,但其一般适用性下降。

zjunlp/knowlm-13b-ie 从中英文信息抽取数据集中采样约 10% 的数据,然后进行负采样。例如,如果数据集 A 包含标签 [a,b,c,d,e,f],我们首先从 A 中采样出 10% 的数据。对于给定的样本 s,它可能只包含标签 a 和 b。我们随机地添加原本没有的关系,比如来自指定关系候选列表的 c 和 d。当遇到这些额外的关系时,模型可能会输出类似 'NAN' 的文本。这种方法使模型在一定程度上具备生成 'NAN' 输出的能力,增强了其信息抽取能力,但削弱了其泛化能力。

📏 2.信息抽取模板

模版 template 用于构造输入模型的**指令** instruction , 由三部分组成:

  • **任务描述**:明确模型的职能及其需完成的任务,例如实体识别、关系抽取、事件抽取等。
  • **候选标签列表{s schema}(可选)**:定义模型需要提取的标签类别,如实体类型、关系类型、事件类型等。
  • **结构化输出格式{s format}**:指明模型应如何呈现其抽取的结构化信息。

指定候选标签列表**的模版:

不指定候选标签列表的模版

候选标签列表{s schema}

结构输出格式{s format}

这些模板中的schema({s schema})和结构输出格式({s format})占位符被嵌入在模板中,用户必须指定。

有关模板的更全面理解,请参阅配置目录configs 和 文件ner converter.py、re converter.py、ee converter.py、eet converter.py、eea converter.py .

  • 常见的主题关系类型

此处 schema 提供了12种文本主题, 以及该主题下常见的关系类型。

  • 转换脚本

训练数据转换**

在对模型进行数据输入之前,需要将**数据格式化**以包含 instruction 和 input 字段。为此,我们提供了一个脚本 kg2instruction/convert.py,它可以将数据批量转换成模型可以直接使用的格式。

在使用 kg2instruction/convert.py 脚本之前,请确保参考了 data 目录。该目录详细说明了每种任务所需的数据格式要求。请参考 sample.json 以了解转换前数据的格式,schema.json 则展示了 schema 的组织结构,而 processed.json 则描述了转换后的数据格式。

bash

python kg2instruction/convert.py \

  • -src path data/NER/sample.json \
  • -tgt path data/NER/processed.json \
  • -schema path data/NER/schema.json \
  • -language zh \ # 不同语言使用的template及转换脚本不同
  • -task NER \ # ['RE', 'NER', 'EE', 'EET', 'EEA'] 5种任务
  • -sample -1 \ # 若为-1, 则从20种指令和4种输出格式中随机采样其中一种, 否则即为指定的指令格式, -1

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top