语言:

• 尼日利亚皮钦语 标签:
• 命名实体识别(NER) 数据集:
• masakhaner 评估指标:
• F1值
• 精确率
• 召回率 示例输入:
• 文本: "综合格斗组织，终极格斗锦标赛，UFC已决定将于5月9日周六重返佛罗里达州杰克逊维尔的八角笼。"

xlm-roberta-base微调版-尼日利亚皮钦语NER模型

这是一个基于xlm-roberta-base进行微调的命名实体识别模型，专门针对MasakhaNER数据集中尼日利亚皮钦语部分进行优化。

更多信息及其他类似模型可在主GitHub仓库查看。

模型说明

该模型基于Transformer架构，在MasakhaNER数据集上进行了微调。该数据集包含10种非洲语言的新闻文章，主要用于命名实体识别任务。模型经过50轮训练，最大序列长度200，批量大小32，学习率5e-5。经过5次不同随机种子训练后，本上传版本在测试集上取得了最佳综合F1值。

本模型由Michael Beukman在约翰内斯堡金山大学项目期间完成微调，2021年11月20日发布第一版。模型遵循Apache 2.0许可证。

联系方式

更多关于模型训练脚本、详细结果等资源，请访问主GitHub仓库。可通过该仓库提交issue联系作者。

训练资源

每次模型微调耗时10-30分钟，使用NVIDIA RTX3090显卡完成。32批量大小需要至少14GB显存，当批量降为1时最低需6.5GB显存。

数据

训练/验证/测试集直接来自MasakhaNER的GitHub仓库，原始数据质量较高未做过多预处理。该数据集是首个公开的大规模非洲语言NER数据集（涵盖10种语言），具体数据分布详见原论文。

使用场景

本模型适用于NLP研究领域（如可解释性/迁移学习）。由于泛化能力有限，不建议直接用于生产环境，尤其避免应用于可能影响人们生活的关键任务。

局限性

• 仅针对单一领域（新闻）、单一任务（NER）的小规模数据集训练
• 对长实体（>3词）和训练集未覆盖实体识别效果较差
• 可能存在与xlm-roberta-base类似的偏见问题
• 日期类别识别准确率相对较低（需针对性优化）

性能指标

测试集综合表现（最佳随机种子结果）：

实体标签说明：

• O：非实体
• B-DATE/I-DATE：日期实体
• B-PER/I-PER：人名
• B-ORG/I-ORG：组织机构
• B-LOC/I-LOC：地理位置

使用方法

from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline

model_name = 'mbeukman/xlm-roberta-base-finetuned-ner-naija'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)

ner_pipeline = pipeline("ner", model=model, tokenizer=tokenizer)
text = "综合格斗组织，终极格斗锦标赛，UFC已决定将于5月9日周六重返佛罗里达州杰克逊维尔的八角笼。"
results = ner_pipeline(text)
print(results)