英文小写文本标点恢复模型

该模型基于DistilBertForTokenClassification微调而成，专为无标点的小写英文文本添加标点符号。

使用方法

from transformers import DistilBertForTokenClassification, DistilBertTokenizerFast

model = DistilBertForTokenClassification.from_pretrained("Qishuai/distilbert_punctuator_en")
tokenizer = DistilBertTokenizerFast.from_pretrained("Qishuai/distilbert_punctuator_en")

模型概述

训练数据

整合了以下三个数据集：

• BBC新闻：来自2004-2005年BBC新闻网站五个主题领域的报道。数据源
• 新闻文章：2017年2月至8月期间从Hindu、Indian times和Guardian抓取的20000篇短新闻样本。数据源
• TED演讲：2004年至2019年间4000多场TED演讲的文字记录。数据源

模型表现

• 验证数据1：从https://www.thenews.com.pk网站抓取的500个新闻样本。数据源

• 性能指标：

  	精确率	召回率	F1分数	样本量
  逗号	0.66	0.55	0.60	7064
  感叹号	1.00	0.00	0.00	5
  句号	0.73	0.63	0.68	6573
  问号	0.54	0.41	0.47	17
  微平均	0.69	0.59	0.64	13659
  宏平均	0.73	0.40	0.44	13659
  加权平均	0.69	0.59	0.64	13659

• 验证数据2：未包含在训练集中的86篇2020年TED演讲新闻。数据源

• 性能指标：

  	精确率	召回率	F1分数	样本量
  逗号	0.71	0.56	0.63	10712
  感叹号	0.45	0.07	0.12	75
  句号	0.75	0.65	0.70	7921
  问号	0.73	0.67	0.70	827
  微平均	0.73	0.60	0.66	19535
  宏平均	0.66	0.49	0.53	19535
  加权平均	0.73	0.60	0.66	19535