macbert4mdcspell_v2

macro-correct

[](https://pypi.org/project/macro-correct/)

[](https://travis-ci.com/yongzhuo/macro-correct)

[](https://pypi.org/project/macro-correct/)

[](https://github.com/yongzhuo/macro-correct/stargazers)

[](https://github.com/yongzhuo/macro-correct/network/members)

[](https://gitter.im/yongzhuo/macro-correct?utm source=badge&utm medium=badge&utm campaign=pr-badge&utm content=badge)

macro-correct, 文本纠错工具包(Text Correct), 支持中文拼写纠错/标点符号纠错(CSC, Chinese Spelling Correct / Check), CSC支持各领域数据(包括古文), 模型在大规模、各领域的、现代/当代语料上训练而得, 泛化性强.

macro-correct是一个只依赖pytorch、transformers、numpy、opencc的文本纠错(CSC, 中文拼写纠错; Punct, 中文标点纠错)工具包，专注于中文文本纠错的极简自然语言处理工具包。

使用大部分市面上的开源数据集构建生成的混淆集,使用人民日报语料&学习强国语料等生成1000万+训练数据集来训练模型;

支持MDCSpell、Macbert、ReLM、SoftBERT、BertCRF等多种经典模型;

支持中文拼写纠错、中文标点符号纠错、中文语法纠错(待续)、独立的检测模型/识别模型(待续);

具有依赖轻量、代码简洁、注释详细、调试清晰、配置灵活、拓展方便、适配NLP等特性。

目录

安装

调用

体验

词典

详情

训练

测评

日志

参考

论文

Cite

安装

调用

更多样例sample详情见/tet目录

• 使用example详见/tet/tet目录, 中文拼写纠错代码为tet csc token zh.py, 中文标点符号纠错代码为tet csc punct zh.py, CSC也可以直接用tet csc flag transformers.py
• 训练代码详见/tet/train目录, 可配置本地预训练模型地址和各种参数等;

体验

HF---Space---Macropodus/macbert4csc v2

• 调用-文本纠错
• 1 CSC 使用 macro-bert

• 2 CSC 使用 transformers

• 调用-标点纠错

词典

默认混淆词典地址

macro correct/output/confusion dict.json

操作混淆词典

详情

CSC调用(超参数说明)

PUNCT调用(超参数说明)

训练

CSC任务

目录地址

macbert4mdcspell: macro correct/pytorch user models/csc/macbert4mdcspell/train yield.py

macbert4csc: macro correct/pytorch user models/csc/macbert4csc/train yield.py

relm: macro correct/pytorch user models/csc/relm/train yield.py

数据准备

espell: list的json文件结构, 带"original text"和"correct text"就好, 参考macro correct/corpus/text correction/espell

sighan: list的json文件结构, 带"source"和"target"就好, 参考macro correct/corpus/text correction/sighan

配置-训练-验证-预测

配置

配置好数据地址和超参, 参考macro correct/pytorch user models/csc/macbert4mdcspell/config.py

训练-验证-预测

PUNCT任务

目录地址

PUNCT: macro correct/pytorch sequencelabeling/slRun.py

数据准备

SPAN格式: NER任务, 默认用span格式(jsonl), 参考macro correct/corpus/sequence labeling/chinese symbol的chinese symbol.dev.span文件

CONLL格式: 生成SPAN格式后, 用macro correct/tet/corpus/pos to conll.py转换一下就好

配置-训练-验证-预测

配置

配置好数据地址和超参, 参考macro correct/pytorch user models/csc/macbert4mdcspell/config.py

训练-验证-预测

测评

说明

所有训练数据均来自公网或开源数据, 训练数据为1千万左右, 混淆词典较大;

所有测试数据均来自公网或开源数据, 测评数据地址为Macropodus/csc eval public;

测评代码主要为tcEval.py; 其中[qwen25 1-5b pycorrector]()的测评代码在目录eval

评估标准：过纠率(过度纠错, 即高质量正确句子的错误纠正); 句子级宽松标准的准确率/精确率/召回率/F1(同shibing624/pycorrector); 句子级严格标准的准确率/精确率/召回率/F1(同wangwang110/CSC); 字符级别的准确率/精确率/召回率/F1(错别字);

qwen25 1-5b pycorrector权重地址在shibing624/chinese-text-correction-1.5b

macbert4csc pycorrector权重地址在shibing624/macbert4csc-base-chinese;

macbert4mdcspell v1权重地址在Macropodus/macbert4mdcspell v1;

macbert4mdcspell v2权重地址在Macropodus/macbert4mdcspell v2;

macbert4csc v2权重地址在Macropodus/macbert4csc v2;

macbert4csc v1权重地址在Macropodus/macbert4csc v1;

bert4csc v1权重地址在Macropodus/bert4csc v1;

• 1 测评数据

• 2 测评再说明

• 3 测评结果
• 3.1 F1(common cor f1)

model/common cor f1 avg gen de3 lemon v2 gen passage text proof gen xxqg faspell lomo tet mcsc tet ecspell sighan2013 sighan2014 sighan2015

:------------------------ :----------------- :----------------- :----------------- :----------------- :----------------- :----------------- :----------------- :----------------- :----------------- :----------------- :----------------- :----------------- :-----------------

macbert4csc pycorrector 45.8 42.44 42.89 31.49 46.31 26.06 32.7 44.83 27.93 55.51 70.89 61.72 66.81

qwen25 1-5b pycorrector 45.11 27.29 89.48 14.61 83.9 13.84 18.2 36.71 96.29 88.2 36.41 15.64 20.73

bert4csc v1 62.28 93.73 61.99 44.79 68.0 35.03 48.28 61.8 64.41 79.11 77.66 51.01 61.54

macbert4csc v1 68.55 96.67 65.63 48.4 75.65 38.43 51.76 70.11 80.63 85.55 81.38 57.63 70.7

macbert4csc v2 68.6 96.74 66.02 48.26 75.78 38.84 51.91 70.17 80.71 85.61 80.97 58.22 69.95

macbert4mdcspell v1 71.1 96.42 70.06 52.55 79.61 43.37 53.85 70.9 82.38 87.46 84.2 61.08 71.32

macbert4mdcspell v2 71.23 96.42 65.8 52.35 75.94 43.5 53.82 72.66 82.28 88.69 82.51 65.59 75.26

• 3.2 acc(common cor acc)

model/common cor acc avg gen de3 lemon v2 gen passage text proof gen xxqg faspell lomo tet mcsc tet ecspell sighan2013 sighan2014 sighan2015

:----------------- :----------------- :----------------- :----------------- :----------------- :----------------- :----------------- :----------------- :----------------- :----------------- :----------------- :----------------- :----------------- :-----------------

macbert4csc pycorrector 48.26 26.96 28.68 34.16 55.29 28.38 22.2 60.96 57.16 67.73 55.9 68.93 72.73

qwen25 1-5b pycorrector 46.09 15.82 81.29 22.96 82.17 19.04 12.8 50.2 96.4 89.13 22.8 27.87 32.55

bert4csc v1 60.76 88.21 45.96 43.13 68.97 35.0 34.0 65.86 73.26 81.8 64.5 61.11 67.27

macbert4csc v1 65.34 93.56 49.76 44.98 74.64 36.1 37.0 73.0 83.6 86.87 69.2 62.62 72.73

macbert4csc v2 65.22 93.69 50.14 44.92 74.64 36.26 37.0 72.72 83.66 86.93 68.5 62.43 71.73

macbert4mdcspell v1 67.15 93.09 54.8 47.71 78.09 39.52 38.8 71.92 84.78 88.27 73.2 63.28 72.36

macbert4mdcspell v2 68.31 93.09 50.05 48.72 75.74 40.52 38.9 76.9 84.8 89.73 71.0 71.94 78.36

• 3.3 acc(acc true, thr=0.75)

model/acc avg acc rmrb acc xxqg

:------------------------ :----------------- :----------------- :-----------------

macbert4csc pycorrector 99.24 99.22 99.26

qwen25 1-5b pycorrector 82.0 77.14 86.86

bert4csc v1 98.71 98.36 99.06

macbert4csc v1 97.72 96.72 98.72

macbert4csc v2 97.89 96.98 98.8

macbert4mdcspell v1 97.75 96.51 98.98

macbert4mdcspell v2 99.54 99.22 99.86

• 3.4 结论(Conclusion)

日志

参考

This library is inspired by and references following frameworks and papers.

Chinese-text-correction-papers: nghuyong/Chinese-text-correction-papers

pycorrector: shibing624/pycorrector

CTCResources: destwang/CTCResources

CSC: wangwang110/CSC

char-similar: yongzhuo/char-similar

MDCSpell: iioSnail/MDCSpell pytorch

CSCD-NS: nghuyong/cscd-ns

lemon: gingasan/lemon

ReLM: Claude-Liu/ReLM

论文

中文拼写纠错(CSC, Chinese Spelling Correction)

共收录34篇论文, 写了一个简短的综述. 详见README.csc survey.md

Cite

For citing this work, you can refer to the present GitHub project. For example, with BibTeX: