bert-base-NER 模型

如果我的开源模型对您有所帮助，请考虑支持我构建更多小型实用的AI模型（同时也能帮助我支付医学院学费/缓解父母经济压力）。感谢！

模型描述

bert-base-NER 是基于BERT微调的命名实体识别模型，在该任务上达到业界领先水平。该模型可识别四类实体：地点（LOC）、组织机构（ORG）、人名（PER）和杂项（MISC）。

本模型是在标准英文版CoNLL-2003命名实体识别数据集上微调的bert-base-cased版本。若需使用更大规模的模型，我们还提供基于相同数据集微调的bert-large-NER版本。

可用NER模型

使用场景与限制

使用方法

可通过Transformers的pipeline进行NER任务：

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

tokenizer = AutoTokenizer.from_pretrained("dslim/bert-base-NER")
model = AutoModelForTokenClassification.from_pretrained("dslim/bert-base-NER")

nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "My name is Wolfgang and I live in Berlin"

ner_results = nlp(example)
print(ner_results)

局限性

由于训练数据来源于特定时期的新闻语料，该模型在不同领域的泛化能力可能受限。此外，模型偶尔会将子词标记识别为实体，可能需要后处理。

训练数据

基于标准英文版CoNLL-2003命名实体识别数据集微调。训练数据采用以下标注体系：

CoNLL-2003英文数据集统计

该数据集源自路透社新闻语料库。

各实体类型训练样本量

数据规模统计

训练过程

使用单块NVIDIA V100 GPU，采用原始BERT论文推荐的超参数进行训练。

评估结果

测试指标略低于官方Google BERT结果（因其采用了文档级上下文编码和CRF实验）。完整复现方法参见此处。

引用文献

@article{DBLP:journals/corr/abs-1810-04805,
  author    = {Jacob Devlin and
               Ming{-}Wei Chang and
               Kenton Lee and
               Kristina Toutanova},
  title     = {{BERT:} Pre-training of Deep Bidirectional Transformers for Language
               Understanding},
  journal   = {CoRR},
  volume    = {abs/1810.04805},
  year      = {2018},
  url       = {http://arxiv.org/abs/1810.04805},
  archivePrefix = {arXiv},
  eprint    = {1810.04805},
  timestamp = {Tue, 30 Oct 2018 20:39:56 +0100},
  biburl    = {https://dblp.org/rec/journals/corr/abs-1810-04805.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

@inproceedings{tjong-kim-sang-de-meulder-2003-introduction,
    title = "Introduction to the {C}o{NLL}-2003 Shared Task: Language-Independent Named Entity Recognition",
    author = "Tjong Kim Sang, Erik F.  and
      De Meulder, Fien",
    booktitle = "Proceedings of the Seventh Conference on Natural Language Learning at {HLT}-{NAACL} 2003",
    year = "2003",
    url = "https://www.aclweb.org/anthology/W03-0419",
    pages = "142--147",
}