Hugging Face的标识

语言: 约鲁巴语 数据集:

• JW300 + Menyo-20k

mT5_base_yoruba_adr

模型描述

mT5_base_yoruba_adr 是一个基于微调mT5-base模型的约鲁巴语自动音调恢复模型。它在为约鲁巴文本添加正确音调符号方面达到了最先进的性能。

具体而言，该模型是在JW300约鲁巴语语料库和Menyo-20k数据集上微调的mT5_base模型。

预期用途与限制

使用方法

您可以将此模型与Transformers的pipeline一起用于自动音调恢复（ADR）。

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
tokenizer = AutoTokenizer.from_pretrained("")
model = AutoModelForTokenClassification.from_pretrained("")
nlp = pipeline("", model=model, tokenizer=tokenizer)
example = "Emir of Kano turban Zhang wey don spend 18 years for Nigeria"
ner_results = nlp(example)
print(ner_results)

限制与偏差

该模型受限于其训练数据集——特定时间段内带有实体标注的新闻文章。这可能无法很好地泛化到不同领域的所有用例中。

训练数据

该模型在JW300约鲁巴语语料库和Menyo-20k数据集上进行了微调。

训练过程

该模型在单个NVIDIA V100 GPU上训练完成。

测试集评估结果（BLEU分数）

在Global Voices测试集上获得64.63 BLEU分
在Menyo-20k测试集上获得70.27 BLEU分

BibTeX条目与引用信息

作者：Jesujoba Alabi与David Adelani