Hugging Face的标识

支持语言:

• 阿姆哈拉语
• 豪萨语
• 伊博语
• 卢旺达语
• 卢干达语
• 尼日利亚皮钦语
• 斯瓦希里语
• 沃洛夫语
• 约鲁巴语
• 多语言

数据集:

• masakhaner

xlm-roberta-large-masakhaner

模型描述

xlm-roberta-large-masakhaner 是首个针对10种非洲语言（阿姆哈拉语、豪萨语、伊博语、卢旺达语、卢干达语、尼日利亚皮钦语、斯瓦希里语、沃洛夫语和约鲁巴语）的命名实体识别模型，基于微调的XLM-RoBERTa large模型构建。该模型在NER任务上实现了最先进的性能，能够识别四类实体：日期时间（DATE）、地点（LOC）、组织（ORG）和人物（PER）。

具体而言，该模型是在从Masakhane项目MasakhaNER数据集获取的非洲语言数据集聚合基础上微调的xlm-roberta-large模型。

使用场景与限制

使用方法

可通过Transformers的pipeline进行NER任务调用：

from transformers import AutoTokenizer, AutoModelForTokenClassification  
from transformers import pipeline  
tokenizer = AutoTokenizer.from_pretrained("Davlan/xlm-roberta-large-masakhaner")  
model = AutoModelForTokenClassification.from_pretrained("Davlan/xlm-roberta-large-masakhaner")  
nlp = pipeline("ner", model=model, tokenizer=tokenizer)  
example = "卡诺埃米尔册封在尼日利亚生活18年的张"  
ner_results = nlp(example)  
print(ner_results)  

局限性

该模型受限于其训练数据——特定时间段内带有实体标注的新闻文章，可能无法泛化到不同领域的所有用例。

训练数据

模型在10种非洲语言NER数据集（阿姆哈拉语、豪萨语等）上微调，数据来自Masakhane项目的MasakhaNER。

训练数据区分实体的起始和延续部分，以处理同类实体连续出现的情况。每个标记被分类为以下类别之一：

训练过程

模型在单块NVIDIA V100 GPU上训练，采用MasakhaNER原始论文推荐的超参数，该论文基于MasakhaNER语料库进行训练评估。

测试集F1分数

BibTeX引用信息

@article{adelani21tacl,  
    title = {Masakha{NER}: 非洲语言的命名实体识别},  
    author = {David Ifeoluwa Adelani等},  
    journal = {计算语言学协会汇刊(TACL)},  
    year = {2021}  
}