模型介绍
中文整理TeleChat-USP
统一 Schema 驱动的语义解析任务
由 星辰通用人工智能实验室 开源
🏗️ USP 格式 •
📊 数据集 •
🤖 模型
📌 简介
TeleChat-USP**(Unified Schema-driven Semantic Parsing)是由 **星辰通用人工智能实验室** 开源的通用语义解析项目。我们设计了一套**统一的语义信息约束框架**,将信息抽取(NER、RE、EE)与口语理解(SLU)等传统异构任务纳入同一表示体系,彻底解决了"不同任务格式不兼容、标签体系混乱、模型难以统一"的痛点。
基于该框架,我们完成了 **61 个开源数据集** 的标签与输出格式重构,构建了规模达 **275.3 万条** 的多语言多领域 USP 数据集,并基于 **TeleChat**基座 微调出具备**强冷启动能力**的统一语义解析模型——在多个数据集的微调指标及零样本/少样本场景下,**超越 Qwen 等优秀基座模型及信息抽取专域模型**。
🎯 **核心设计理念**:用统一的 category + argument 层级结构表示一切语义解析任务——实体、关系、事件、意图的类型等将统一作为 category ;实体提及、关系对象、事件论元、意图槽位将被作为 argument 。
🏗️ USP 格式
任务异构的语义元素
传统语义解析任务格式各异:
- *NER**: {"tokens": [...], "ner tags": [3, 13, 0, ...]} —— BIO 标签序列
- *RE**: {"text": "...", "drug": "...", "dosage": "..."} —— 扁平键值对
- *EE**: {"event list": [{"trigger": "...", "arguments": [...]}]} —— 嵌套结构
- *SLU**: {"intent": "...", "slots": {"时间": "...", "地点": "..."}} —— 意图+槽位
- *USP**: [{"category": "...", "args": [{"时间": "...", "地点": "..."}]}]
USP 统一用JSON 层级分类结构体表示所有任务**
标签库定义格式
每个标签包含 category 、 category description 、 args 、 name 、 description :
统一输出格式
输出为 **列表结构**,同级category为一类分类结果,args内部的同级参数结果表示该类别下的多组参数实:
任务映射关系
传统任务 USP 映射 说明
:--- :--- :---
- *NER** category = 实体类型, args = 实体提及 如 {"category": "人物", "args": [{"实体提及": "马云"}]}
- *RE** category = 关系类型, args = 头实体 + 尾实体 如 {"category": "任职", "args": [{"头实体": "马云", "尾实体": "阿里巴巴"}]}
- *EE** category = 事件类型, args = 触词+各论元 如 {"category": "股份回购", "args": [{"触发词": "回购", "回购方": "众安集团", "交易金额": "94.56万港元"}]}
- *SLU** category = 意图, args = 槽位 如 {"category": "查询天气", "args": [{"时间": "下周四", "地点", "北京"}]}
格式优势
✅ **统一表示**:一套结构覆盖 NER/RE/EE/SLU 四类任务
✅ **可扩展**:新增任务类型只需定义新的 category ,无需改格式
✅ **多值兼容**: List 结构天然支持一句话多意图、多实体、多事件、多槽位
✅ **人机可读**: category description 和 args[].description 界定不同标签的划分边界,同时服务模型与业务人员
📊 数据集
规模概览
统计项 数值
:--- :---
- *总样本数** **2,753,000**
- *重构数据集** **61 个**
- *覆盖领域** **19 个**(AI、Biomedical、Cybersecurity、Education、Finance、General 等)
- *覆盖语言** **52 种**(中、英、南非语等)
- *标签说明** 人工校验 + 模型补全
数据分布
图1:USP语料库分布统计
按任务类型分布
任务类型 样本数 占比 代表性数据集
:--- :--- :--- :---
- *NER** 823,000 29.9% MSRA, OntoNotes, CoNLL2003, CMeEE, WeiboNER
- *RE** 905,000 32.9% DuIE, NYT, TACRED,SemEval
- *EE** 56,000 2.0% ACE05, RAMS, FewFC, MAVEN, DuEE
- *SLU** 969,000 35.2% Snips, ATIS, MASSIV
- *总计** **2,753,000** **100%** —
按语言分布
语言 样本数 占比
:--- :--- :---
英文 995,565 36.2%
中文 897,270 32.6%
其他 49 种语言 859,092 31.2%
- *总计** **2,751,927** **100%**
按领域分布(19 个领域)
涵盖 AI、Biomedical、Cybersecurity、Education、Finance、General、Legal、E-commerce、Social Media、News、Sports、Entertainment、Travel、Government、Military、Scientific、Agriculture、Energy、Transportation 等。
完整数据集将于近期开源*
🤖 模型
TeleChat-USP 微调模型
基于 **TeleChat2.5**、 **TeleChat3**系列基座模型,使用重构后的 USP 数据集进行领域微调:
配置项 详情
:--- :---
- *基座模型** TeleChat
- *参数量** 1.8B、7B
- *微调数据** 10 万条采样数据(来自 275.3 万 USP 数据集 + 业务积累数据)
- *训练方式** SFT(Supervised Fine-Tuning)
- *评测指标** 基于 category 取值 + argument 的 键值对 联合计算 Acc / P / R / F1
核心优势
🧊 **强冷启动能力**:零样本/少样本场景下结构化语义解析能力显著优于通用基座
🎯 **统一解析**:单一模型同时处理 NER/RE/EE/SLU,无需为每个任务单独训练
📐 **Schema 合规**:输出严格遵循 USP 格式,可直接对接下游系统
详细评测结果与复现脚本将于近期发布*
模型下载
模型 参数量 下载
:--- :--- :---
TeleChat-USP 1.8B 🤖 Modelscope
TeleChat-USP 7B *即将发布*
星辰通用人工智能实验室
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
