Hugging Face的标识

支持语言：

• 奥罗莫语(om)
• 阿姆哈拉语(am)
• 卢旺达语(rw)
• 隆迪语(rn)
• 豪萨语(ha)
• 伊博语(ig)
• 尼日利亚皮钦语(pcm)
• 索马里语(so)
• 斯瓦希里语(sw)
• 提格里尼亚语(ti)
• 约鲁巴语(yo)
• 多语言(multilingual)

afriberta_base基础模型

模型描述

AfriBERTa基础版是一个预训练的多语言模型，包含约1.11亿参数。该模型采用8层架构，配备6个注意力头，768个隐藏单元及3072维前馈网络。其预训练语料涵盖11种非洲语言：奥罗莫语（又称阿凡奥罗莫语）、阿姆哈拉语、加胡扎语（混合卢旺达语和隆迪语）、豪萨语、伊博语、尼日利亚皮钦语、索马里语、斯瓦希里语、提格里尼亚语和约鲁巴语。研究显示，该模型在文本分类和命名实体识别等下游任务中，对包括未参与预训练的非洲语言也展现出竞争优势。

应用场景与限制

使用方法

可通过Transformers库将该模型应用于各类下游任务。例如进行词元分类任务微调时：

>>> from transformers import AutoTokenizer, AutoModelForTokenClassification
>>> model = AutoModelForTokenClassification.from_pretrained("castorini/afriberta_base")
>>> tokenizer = AutoTokenizer.from_pretrained("castorini/afriberta_base")
# 由于当前Hugging Face对导入的SentencePiece模型支持不完善，需手动设置最大长度
>>> tokenizer.model_max_length = 512 

局限性

• 模型训练数据主要来自特定时间段的新闻文章，可能影响泛化能力
• 训练数据量不足1GB，对复杂语言关系的捕捉可能有限

训练数据

训练集整合了BBC新闻网站和Common Crawl的语料资源。

训练流程

详细训练方法请参阅AfriBERTa论文或代码库

文献引用

@inproceedings{ogueji-etal-2021-small,
    title = "数据匮乏？没关系！探索预训练多语言模型在低资源语言中的可行性",
    author = "Ogueji, Kelechi  and
      Zhu, Yuxin  and
      Lin, Jimmy",
    booktitle = "第一届多语言表示学习研讨会论文集",
    month = "11月",
    year = "2021",
    address = "多米尼加共和国蓬塔卡纳",
    publisher = "计算语言学协会",
    url = "https://aclanthology.org/2021.mrl-1.11",
    pages = "116--126",
}