许可证：cc-by-2.0
语言：

• 英语
  任务标签：标记分类

历史报纸命名实体识别模型

模型描述

historical_newspaper_ner 是一个基于 Roberta-large 微调的模型，专用于可能包含 OCR 错误的文本。

该模型能够识别四类实体：地点（LOC）、组织（ORG）、人物（PER）和其他类别（MISC）。

训练数据来自定制化的历史报纸数据集，标注精度极高。所有数据均由两名哈佛大学本科生双重录入，并通过人工核对解决差异。

用途

可通过 Transformers 的 NER 管道使用该模型：

from transformers import AutoTokenizer, AutoModelForTokenClassification  
from transformers import pipeline  

tokenizer = AutoTokenizer.from_pretrained("dell-research-harvard/historical_newspaper_ner")  
model = AutoModelForTokenClassification.from_pretrained("dell-research-harvard/historical_newspaper_ner")  

nlp = pipeline("ner", model=model, tokenizer=tokenizer)  
example = "我的名字是沃尔夫冈，住在柏林"  

ner_results = nlp(example)  
print(ner_results)  

局限性

该模型基于历史新闻训练，可能反映特定时期的偏见，且对其他场景泛化能力有限。
此外，模型可能将子词标记误标为实体，需通过后处理修正。

训练数据

训练集区分实体的起始与延续部分，以处理同类实体连续出现的情况。标记分类如下：

模型基于美国报纸的英文历史新闻 OCR 文本微调，标注质量远超同类数据集。

各实体类型的训练样本数

训练过程

以 4.7e-05 学习率和 128 批次大小对 Roberta-Large 模型（Liu 等，2020）微调 184 轮。

评估结果

备注

本模型卡参考了 dslim/bert-base-NER 的格式。

引用

若使用本模型，请引用以下论文：

@misc{franklin2024ndjv,  
      title={News Deja Vu: Connecting Past and Present with Semantic Search},   
      author={Brevin Franklin, Emily Silcock, Abhishek Arora, Tom Bryan and Melissa Dell},  
      year={2024},  
      eprint={2406.15593},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL},  
      url={https://arxiv.org/abs/2406.15593},   
}  

应用

我们将该模型应用于百年历史新闻文章，所有命名实体可见于 NEWSWIRE 数据集。