license: mit

afro-xlmr-small 非洲小语种模型

AfroXLMR-small的构建过程分为两步：首先将XLM-R-base模型的词汇标记规模从25万缩减至7万（方法详见此论文），随后对涵盖非洲主要语系的17种语言（阿非利卡语、阿姆哈拉语、豪萨语、伊博语、马尔加什语、奇切瓦语、奥罗莫语、尼日利亚皮钦语、卢旺达语、隆迪语、绍纳语、索马里语、塞索托语、斯瓦希里语、科萨语、约鲁巴语和祖鲁语）及3种高资源语言（阿拉伯语、法语和英语）进行掩码语言建模适应训练。

MasakhaNER评测结果（F值）

BibTeX引用信息

@inproceedings{alabi-etal-2022-adapting,
    title = "基于多语言自适应微调的预训练语言模型非洲语言适配研究",
    author = "Alabi, Jesujoba O.  and
      Adelani, David Ifeoluwa  and
      Mosbach, Marius  and
      Klakow, Dietrich",
    booktitle = "第29届国际计算语言学会议论文集",
    month = "10月",
    year = "2022",
    address = "韩国庆州",
    publisher = "国际计算语言学委员会",
    url = "https://aclanthology.org/2022.coling-1.382",
    pages = "4336--4349",
    abstract = "多语言预训练语言模型(PLM)在高资源与低资源语言的下游任务中均展现出卓越性能。然而对于预训练阶段未见的语言（尤其是非洲语言），性能仍存在显著差距。最有效的适配方法是语言自适应微调(LAFT)——使用预训练目标在目标语言单语文本上微调多语言PLM。但单独适配每个语言会占用大量存储空间，且因模型专用于单一语言而限制跨语言迁移能力。本文通过对17种资源相对丰富的非洲语言及3种非洲大陆常用高资源语言进行多语言自适应微调(MAFT)，促进跨语言迁移学习。为进一步专业化，我们在MAFT前移除了嵌入层中与非非洲文字对应的词汇标记，使模型体积缩减约50%。基于AfriBERTa和XLM-R两个多语言PLM在命名实体识别、新闻主题分类和情感分类三个NLP任务上的评估表明，该方法在保持与单语言LAFT相当性能的同时显著节省存储空间。此外，我们还证明适配后的PLM能提升参数高效微调方法的零样本跨语言迁移能力。",
}