许可证：afl-3.0

Hugging Face的标识

语言：

• 阿拉伯语
• 德语
• 英语
• 西班牙语
• 法语
• 意大利语
• 拉脱维亚语
• 荷兰语
• 葡萄牙语
• 中文
• 多语言

bert-base-multilingual-cased-ner-hrl

模型描述

bert-base-multilingual-cased-ner-hrl 是一个针对10种高资源语言（阿拉伯语、德语、英语、西班牙语、法语、意大利语、拉脱维亚语、荷兰语、葡萄牙语和中文）的命名实体识别模型，基于微调的mBERT基础模型。它经过训练，能够识别三种类型的实体：地点（LOC）、组织（ORG）和人名（PER）。
具体来说，该模型是在10种高资源语言聚合数据上微调的bert-base-multilingual-cased模型。

预期用途与限制

使用方法

您可以使用Transformers的pipeline进行NER任务。

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
tokenizer = AutoTokenizer.from_pretrained("Davlan/bert-base-multilingual-cased-ner-hrl")
model = AutoModelForTokenClassification.from_pretrained("Davlan/bert-base-multilingual-cased-ner-hrl")
nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "Nader Jokhadar had given Syria the lead with a well-struck header in the seventh minute."
ner_results = nlp(example)
print(ner_results)

限制与偏差

该模型受限于其训练数据集，这些数据集来自特定时间段内带有实体标注的新闻文章。这可能无法很好地泛化到不同领域的所有用例中。

训练数据

10种语言的训练数据来源如下：

训练数据集区分了实体的开始和延续部分，因此如果存在相同类型的连续实体，模型可以输出第二个实体的起始位置。与数据集一致，每个标记将被分类为以下类别之一：

训练过程

该模型在NVIDIA V100 GPU上使用HuggingFace代码推荐的超参数进行训练。