语言:

• 斯瓦希里语 标签:
• 命名实体识别(NER) 数据集:
• 马萨卡纳(Masakhaner) 评估指标:
• F1值
• 精确率
• 召回率 示例输入:
• 文本: "坦桑尼亚卫生部周一报告称，约14人感染了新冠病毒。"

基于XLM-RoBERTa的沃洛夫语微调模型再针对斯瓦希里语NER任务的微调版本

这是一个基于xlm-roberta-base-finetuned-wolof预训练模型，在马萨卡纳NER数据集斯瓦希里语部分进行微调的命名实体识别模型。

更多信息及其他类似模型可在主GitHub仓库查看。

模型说明

该模型基于Transformer架构，在马萨卡纳NER数据集上微调完成。该数据集包含10种非洲语言的新闻文章，主要用于命名实体识别任务。模型训练参数为：50个训练周期，最大序列长度200，批次大小32，学习率5e-5。经过5次不同随机种子的训练后，本上传版本在测试集上取得了最佳综合F1值。

本模型由迈克尔·博伊克曼(Michael Beukman)在约翰内斯堡金山大学项目期间完成微调，版本1.0发布于2021年11月20日，遵循Apache 2.0许可证。

联系方式

更多模型信息（包括训练脚本、详细结果等）请访问主GitHub仓库。可通过该仓库提交issue联系作者。

训练资源

每次模型微调耗时10-30分钟，使用NVIDIA RTX3090显卡完成。当批次大小为32时需要至少14GB显存，若将批次降为1则可在6.5GB显存环境下运行。

数据说明

训练、验证和测试数据直接来自马萨卡纳NER的GitHub仓库，该数据集作为"首个高质量、公开可用的非洲十国语言NER数据集"(来源)，其数据分布细节详见论文。

使用限制

本模型仅针对新闻领域的小规模数据集训练，可能在其他领域表现不佳。如Adelani等人(2021)指出，模型对超过3个单词的实体及训练集未覆盖的实体识别效果较差，可能产生偏差。目前未在生产环境验证，不建议用于可能影响人们生活的关键任务。

隐私与伦理

数据均来自公开新闻来源，仅涉及公众人物及同意被报道者。微调过程未做特殊伦理考量。

性能指标

测试集综合表现如下（F1值为主要指标）：

实体标签说明

使用示例

from transformers import pipeline
model_name = 'mbeukman/xlm-roberta-base-finetuned-wolof-finetuned-ner-swahili'
ner_pipeline = pipeline("ner", model=model_name)
results = ner_pipeline("坦桑尼亚卫生部周一报告称，约14人感染了新冠病毒。")
print(results)