license: mit

afro-xlmr-mini

AfroXLMR-mini是通过对XLM-R-miniLM模型在17种非洲语言（南非荷兰语、阿姆哈拉语、豪萨语、伊博语、马达加斯加语、奇切瓦语、奥罗莫语、尼日利亚皮钦语、基尼亚卢旺达语、基隆迪语、绍纳语、索马里语、塞索托语、斯瓦希里语、科萨语、约鲁巴语和祖鲁语）上进行掩码语言模型（MLM）适应训练而创建的，涵盖了非洲主要语系及3种高资源语言（阿拉伯语、法语和英语）。

MasakhaNER评测结果（F值）

BibTeX条目及引用信息

@inproceedings{alabi-etal-2022-adapting,
    title = "通过多语言自适应微调将预训练语言模型适配非洲语言",
    author = "Alabi, Jesujoba O.  and
      Adelani, David Ifeoluwa  and
      Mosbach, Marius  and
      Klakow, Dietrich",
    booktitle = "第29届国际计算语言学会议论文集",
    month = "10月",
    year = "2022",
    address = "韩国庆州市",
    publisher = "国际计算语言学委员会",
    url = "https://aclanthology.org/2022.coling-1.382",
    pages = "4336--4349",
    abstract = "多语言预训练语言模型（PLM）在高资源和低资源语言的下游任务中均展现出卓越性能。然而，对于预训练阶段未见的语言（尤其是非洲语言），性能仍存在显著差距。最有效的适应方法之一是语言自适应微调（LAFT）——使用预训练目标在单语文本上对多语言PLM进行微调。但单独针对每种目标语言进行适配会占用大量存储空间，并因模型专用于单一语言而限制其跨语言迁移能力。本文通过对17种资源最丰富的非洲语言和非洲大陆广泛使用的3种其他高资源语言进行多语言自适应微调（MAFT），以促进跨语言迁移学习。为进一步专业化多语言PLM，我们在MAFT前移除了嵌入层中与非非洲文字脚本对应的词汇标记，使模型体积减少约50%。基于两种多语言PLM（AfriBERTa和XLM-R）和三项NLP任务（命名实体识别、新闻主题分类和情感分类）的评估表明，我们的方法在显著减少存储需求的同时，性能可与单语言LAFT相媲美。此外，我们还证明适配后的PLM能提升参数高效微调方法的零样本跨语言迁移能力。",
}