语言:

• 斯瓦希里语 标签:
• 命名实体识别(NER)
• 标记分类 数据集:
• masakhaner 评估指标:
• F1值
• 精确率
• 召回率 示例输入:
• 文本: "坦桑尼亚卫生部周一报告称，约14人感染了Covid-19病毒。"

基于阿姆哈拉语微调的XLM-RoBERTa模型再微调于斯瓦希里语NER任务

这是一个标记分类模型（具体为命名实体识别），在阿姆哈拉语微调的XLM-RoBERTa基础模型基础上，针对MasakhaNER数据集的斯瓦希里语部分进行了二次微调。

更多信息及其他类似模型可在主GitHub仓库查看。

模型说明

该模型基于Transformer架构，在MasakhaNER数据集上微调完成。该数据集包含10种非洲语言的新闻文章，主要用于命名实体识别任务。模型训练参数为：50个epoch，最大序列长度200，批量大小32，学习率5e-5。经过5次不同随机种子的重复实验，本上传版本在测试集上取得了最佳综合F1值。

本模型由Michael Beukman在约翰内斯堡金山大学项目期间完成微调，当前为2021年11月20日发布的V1版本，遵循Apache 2.0许可证。

联系方式

关于模型的更多信息（包括训练脚本、详细结果等资源）可访问主GitHub仓库。如需联系，请在仓库提交issue。

训练资源

每次模型微调耗时10-30分钟，使用NVIDIA RTX3090显卡完成。当批量大小为32时至少需要14GB显存，若批量降为1则最低需6.5GB显存。

数据说明

训练/验证/测试集直接取自MasakhaNER的GitHub仓库，原始数据质量较高故未做过多预处理。该数据集是"首个面向10种非洲语言的大规模公开高质量NER数据集"（论文），详细数据分布参见原文。

使用限制

• 仅针对新闻领域的小规模数据集训练，泛化能力有限
• 可能继承XLM-RoBERTa基础模型的偏见倾向
• 对超过3个单词的实体或训练集未覆盖的实体识别效果较差
• 未在生产环境验证，可能存在潜在伦理风险

性能指标

测试集综合表现（最佳随机种子结果）：

实体标签

使用示例

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

model_name = 'mbeukman/xlm-roberta-base-finetuned-amharic-finetuned-ner-swahili'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)

ner_pipeline = pipeline("ner", model=model, tokenizer=tokenizer)
sample_text = "坦桑尼亚卫生部周一报告称，约14人感染了Covid-19病毒。"
results = ner_pipeline(sample_text)
print(results)