语言:

• 奥罗莫语(om)
• 阿姆哈拉语(am)
• 卢旺达语(rw)
• 隆迪语(rn)
• 豪萨语(ha)
• 伊博语(ig)
• 索马里语(so)
• 斯瓦希里语(sw)
• 提格雷语(ti)
• 约鲁巴语(yo)
• 尼日利亚皮钦语(pcm)
• 多语言(multilingual)

许可证: mit 数据集:

• castorini/afriberta-corpus

afriberta_large大型模型

模型描述

AfriBERTa large是一个预训练的多语言模型，约含1.26亿参数。 该模型具有10层结构，配备6个注意力头，768个隐藏单元及3072维前馈网络。 模型在11种非洲语言上进行了预训练，包括：奥罗莫语（又称阿法安奥罗莫语）、阿姆哈拉语、加胡扎语（混合了基尼亚卢旺达语和基隆迪语）、豪萨语、伊博语、尼日利亚皮钦语、索马里语、斯瓦希里语、提格雷语和约鲁巴语。 研究显示，该模型在文本分类和命名实体识别等下游任务中，对包括未参与预训练的多种非洲语言均展现出优异性能。

使用场景与限制

使用方法

您可通过Transformers库将该模型用于任何下游任务。 例如，假设要在词元分类任务上微调该模型：

>>> from transformers import AutoTokenizer, AutoModelForTokenClassification
>>> model = AutoModelForTokenClassification.from_pretrained("castorini/afriberta_large")
>>> tokenizer = AutoTokenizer.from_pretrained("castorini/afriberta_large")
# 由于当前HuggingFace对导入的SentencePiece模型支持不完善，需手动设置模型最大长度
>>> tokenizer.model_max_length = 512 

局限性

• 本模型可能受限于其训练数据来源（主要来自特定时间段的新闻文章），因此泛化能力有限。
• 训练数据量较少（不足1GB），可能不足以学习复杂的语言关系。

训练数据

模型训练数据整合自BBC新闻网站和Common Crawl的语料。

训练流程

详细训练方法请参阅AfriBERTa论文或代码库

引用信息

@inproceedings{ogueji-etal-2021-small,
    title = "数据匮乏？无妨！探索预训练多语言模型在低资源语言中的可行性",
    author = "Ogueji, Kelechi  and
      Zhu, Yuxin  and
      Lin, Jimmy",
    booktitle = "第一届多语言表示学习研讨会论文集",
    month = "11月",
    year = "2021",
    address = "多米尼加共和国蓬塔卡纳",
    publisher = "计算语言学协会",
    url = "https://aclanthology.org/2021.mrl-1.11",
    pages = "116--126",
}