许可证: afl-3.0
语言:

• 中文
  标签:
• 中文拼写纠错
• csc
• 中文拼写检查

ReaLiSe拼写纠错模型

中文拼写检查(Chinese Spell Checking, CSC)专用模型

本模型基于ReaLiSe原始代码库构建

相关论文见: https://arxiv.org/abs/2105.12306

官方实现代码: https://github.com/DaDaMrX/ReaLiSe

在SIGHAN2015测试集上的性能表现:

使用指南

安装依赖环境：

!pip install transformers  
!pip install pypinyin  
!pip install boto3  

基础调用示例：

from transformers import AutoTokenizer, AutoModel  

tokenizer = AutoTokenizer.from_pretrained("iioSnail/ReaLiSe-for-csc", trust_remote_code=True)  
model = AutoModel.from_pretrained("iioSnail/ReaLiSe-for-csc", trust_remote_code=True)  

inputs = tokenizer(["我是炼习时长两念半的个人练习生蔡徐坤"], return_tensors='pt')  
output_hidden = model(**inputs).logits  
print(''.join(tokenizer.convert_ids_to_tokens(output_hidden.argmax(-1)[0, 1:-1])))  

输出结果：

我是练习时长两年半的个人练习生蔡徐坤  

也可使用封装好的predict方法：

from transformers import AutoTokenizer, AutoModel  

tokenizer = AutoTokenizer.from_pretrained("iioSnail/ReaLiSe-for-csc", trust_remote_code=True)  
model = AutoModel.from_pretrained("iioSnail/ReaLiSe-for-csc", trust_remote_code=True)  

model.set_tokenizer(tokenizer)  # 调用predict前需初始化tokenizer  
print(model.predict("我是练习时长两念半的鸽仁练习生蔡徐坤"))  
print(model.predict(["我是练习时长两念半的鸽仁练习生蔡徐坤", "喜换唱跳、rap 和 蓝球"]))  

输出示例：

我是练习时长两年半的各仁练习生蔡徐坤  
['我是练习时长两年半的各仁练习生蔡徐坤', '喜欢唱跳、rap 和 蓝球']  

模型训练

from transformers import AutoTokenizer, AutoModel  

tokenizer = AutoTokenizer.from_pretrained("iioSnail/ReaLiSe-for-csc", trust_remote_code=True)  
model = AutoModel.from_pretrained("iioSnail/ReaLiSe-for-csc", trust_remote_code=True)  

inputs = tokenizer(["我是炼习时长两念半的个人练习生蔡徐坤", "喜换唱跳rap蓝球"],  
                   text_target=["我是练习时长两年半的个人练习生蔡徐坤", "喜欢唱跳rap篮球"],  
                   padding=True,  
                   return_tensors='pt')  
loss = model(**inputs).loss  
print("loss:", loss)  
loss.backward()  

训练输出：

loss: tensor(0.6515, grad_fn=<NllLossBackward0>)  

常见问题

1. 网络连接问题如Connection Error

解决方案：建议下载模型到本地使用。批量下载方法参考这篇博客

2. 本地加载时出现ModuleNotFoundError: No module named 'transformers_modules.iioSnail/ReaLiSe-for-csc'错误

解决方案：将路径中的斜杠改为反斜杠iioSnail\ChineseBERT-for-csc，或升级transformers库版本