Hugging Face的标识

语言支持：

• 奥罗莫语(om)
• 阿姆哈拉语(am)
• 卢旺达语(rw)
• 隆迪语(rn)
• 豪萨语(ha)
• 伊博语(ig)
• 尼日利亚皮钦语(pcm)
• 索马里语(so)
• 斯瓦希里语(sw)
• 提格里尼亚语(ti)
• 约鲁巴语(yo)
• 多语言(multilingual)

afriberta_small小型模型

模型描述

AfriBERTa小型版是一个约含9700万参数的多语言预训练模型。该模型采用4层结构，配备6个注意力头，隐藏单元数为768，前馈网络维度为3072。其预训练语料涵盖11种非洲语言：奥罗莫语、阿姆哈拉语、加胡扎语（混合卢旺达语和隆迪语）、豪萨语、伊博语、尼日利亚皮钦语、索马里语、斯瓦希里语、提格里尼亚语和约鲁巴语。实验表明，该模型在文本分类和命名实体识别等下游任务中，对包括未参与预训练的非洲语言也展现出竞争优势。

使用场景与限制

使用方法

可通过Transformers库调用本模型进行下游任务。例如进行词分类任务微调时：

>>> from transformers import AutoTokenizer, AutoModelForTokenClassification
>>> model = AutoModelForTokenClassification.from_pretrained("castorini/afriberta_small")
>>> tokenizer = AutoTokenizer.from_pretrained("castorini/afriberta_small")
# 由于当前HuggingFace对导入的SentencePiece模型支持不完善，需手动设置最大长度
>>> tokenizer.model_max_length = 512 

局限性

• 训练数据主要来自特定时间段的新闻文章，可能影响模型泛化能力
• 训练数据量不足1GB，对复杂语言关系的捕捉可能有限

训练数据

训练集整合了BBC新闻网站和Common Crawl的语料。

训练流程

详细训练方法请参阅AfriBERTa论文或代码库

引用信息

@inproceedings{ogueji-etal-2021-small,
    title = "小数据亦可行！探索多语言预训练模型在低资源语言中的适用性",
    author = "Ogueji, Kelechi  and
      Zhu, Yuxin  and
      Lin, Jimmy",
    booktitle = "第一届多语言表示学习研讨会论文集",
    month = 11,
    year = "2021",
    address = "多米尼加共和国蓬塔卡纳",
    publisher = "计算语言学协会",
    url = "https://aclanthology.org/2021.mrl-1.11",
    pages = "116--126",
}