语言:

• 中文 标签:
• t5
• pytorch
• 中文 许可证: apache-2.0 数据集:
• shibing624/CSC 库名称: transformers 管道标签: 文本到文本生成 小部件:
• 文本: "少先队员因该为老人让坐"

中文拼写纠错T5模型

shibing624/mengzi-t5-base-chinese-correction在SIGHAN2015测试集上的评估结果：

• 句子级别：精确率0.8321，召回率0.6390，F1值0.7229

本模型使用下方提供的"SIGHAN+Wang271K中文纠错数据集"进行训练，在SIGHAN2015测试集上达到接近当前最优水平。

未修改模型结构，通过微调中文纠错数据集，展现出优异的纠错能力，模型潜力巨大。

使用方式

本项目已集成至中文文本纠错项目pycorrector，支持T5模型调用：

pip install -U pycorrector

运行示例：

from pycorrector.t5.t5_corrector import T5Corrector
nlp = T5Corrector("shibing624/mengzi-t5-base-chinese-correction").batch_t5_correct
i = "今天新情很好"
print(i, ' => ', nlp([i]))

输出结果：

今天新情很好  =>  今天心情很好 [('新', '心', 2, 3)]

模型文件结构：

mengzi-t5-base-chinese-correction
|-- config.json
|-- pytorch_model.bin
|-- special_tokens_map.json
|-- spiece.model
|-- tokenizer_config.json
`-- tokenizer.json

如需训练T5纠错模型，请参考https://github.com/shibing624/pycorrector/tree/master/pycorrector/t5

训练数据

SIGHAN+Wang271K中文纠错数据集

SIGHAN+Wang271K数据集格式示例：

[
    {
        "id": "B2-4029-3",
        "original_text": "晚间会听到嗓音，白天的时候大家都不会太在意，但是在睡觉的时候这嗓音成为大家的恶梦。",
        "wrong_ids": [
            5,
            31
        ],
        "correct_text": "晚间会听到噪音，白天的时候大家都不会太在意，但是在睡觉的时候这噪音成为大家的恶梦。"
    },
]

引用文献

@software{pycorrector,
  author = {徐明},
  title = {pycorrector：文本纠错工具},
  year = {2021},
  url = {https://github.com/shibing624/pycorrector},
}