简体中文标点恢复模型

该模型基于DistilBertForTokenClassification微调而成，专用于为简体中文无标点文本添加标点符号。模型是在蒸馏版bert-base-chinese基础上进行微调的。

使用方法

from transformers import DistilBertForTokenClassification, DistilBertTokenizerFast

model = DistilBertForTokenClassification.from_pretrained("Qishuai/distilbert_punctuator_zh")
tokenizer = DistilBertTokenizerFast.from_pretrained("Qishuai/distilbert_punctuator_zh")

模型概览

训练数据

整合了以下三个数据集：

• 2014年《人民日报》新闻语料。数据来源

模型表现

• 使用MSRA训练数据集验证。参考数据
• 评估指标报告：

  	精确率	召回率	F1值	样本量
  逗号	0.67	0.59	0.63	91566
  顿号	0.50	0.37	0.42	21013
  叹号	0.23	0.06	0.09	399
  句号	0.84	0.99	0.91	44258
  问号	0.00	1.00	0.00	0
  微平均	0.71	0.67	0.69	157236
  宏平均	0.45	0.60	0.41	157236
  加权平均	0.69	0.67	0.68	157236