许可证：afl-3.0

Hugging Face的标志

语言：

• 阿拉伯语
• 德语
• 英语
• 西班牙语
• 法语
• 意大利语
• 拉脱维亚语
• 荷兰语
• 葡萄牙语
• 中文
• 多语言

distilbert-base-multilingual-cased-ner-hrl

模型描述

distilbert-base-multilingual-cased-ner-hrl 是一个面向10种高资源语言（阿拉伯语、德语、英语、西班牙语、法语、意大利语、拉脱维亚语、荷兰语、葡萄牙语和中文）的命名实体识别模型，基于经过微调的Distil BERT基础模型。该模型经过训练，能够识别三种类型的实体：地点（LOC）、组织（ORG）和人物（PER）。
具体而言，该模型是一个在10种高资源语言聚合数据上微调的distilbert-base-multilingual-cased模型。

预期用途与限制

使用方法

您可以使用Transformers的pipeline功能进行命名实体识别。

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
tokenizer = AutoTokenizer.from_pretrained("Davlan/distilbert-base-multilingual-cased-ner-hrl")
model = AutoModelForTokenClassification.from_pretrained("Davlan/distilbert-base-multilingual-cased-ner-hrl")
nlp = pipeline("ner", model=model, tokenizer=tokenizer)
example = "Nader Jokhadar had given Syria the lead with a well-struck header in the seventh minute."
ner_results = nlp(example)
print(ner_results)

限制与偏差

该模型受限于其训练数据集，这些数据集来自特定时间段内带有实体标注的新闻文章。这可能无法很好地泛化到不同领域的所有用例中。

训练数据

10种语言的训练数据来源如下：

训练数据集区分实体的起始和延续部分，以便在出现同类型连续实体时，模型能够输出第二个实体的起始位置。与数据集一致，每个标记将被分类为以下类别之一：

训练过程

该模型在NVIDIA V100 GPU上训练，采用了HuggingFace代码推荐的超参数。