许可协议: mit
标签:

• 由训练器生成
  模型索引:
• 名称: afro-xlmr-base
  结果: []
  支持语言:
• 英语
• 法语
• 阿拉伯语
• 豪萨语
• 伊博语
• 约鲁巴语
• 隆迪语
• 卢旺达语
• 绍纳语
• 科萨语
• 祖鲁语
• 奥罗莫语
• 阿姆哈拉语
• 索马里语
• 塞索托语
• 尼扬贾语
• 马尔加什语
• 斯瓦希里语
• 南非荷兰语

afro-xlmr-base

AfroXLMR-base模型是通过在17种非洲语言（南非荷兰语、阿姆哈拉语、豪萨语、伊博语、马尔加什语、奇切瓦语、奥罗莫语、尼日利亚皮钦语、基尼亚卢旺达语、基隆迪语、绍纳语、索马里语、塞索托语、斯瓦希里语、科萨语、约鲁巴语和祖鲁语）以及3种高资源语言（阿拉伯语、法语和英语）上对XLM-R-base模型进行掩码语言建模（MLM）适应而创建的，涵盖了非洲主要语系。

在MasakhaNER上的评估结果（F1分数）

BibTeX条目及引用信息

@inproceedings{alabi-etal-2022-adapting,  
    title = "通过多语言自适应微调将预训练语言模型适配至非洲语言",  
    author = "Alabi, Jesujoba O.  and  
      Adelani, David Ifeoluwa  and  
      Mosbach, Marius  and  
      Klakow, Dietrich",  
    booktitle = "第29届国际计算语言学会议论文集",  
    month = "10月",  
    year = "2022",  
    address = "韩国庆州",  
    publisher = "国际计算语言学委员会",  
    url = "https://aclanthology.org/2022.coling-1.382",  
    pages = "4336--4349",  
    abstract = "多语言预训练语言模型（PLMs）在高资源和低资源语言的下游任务中均表现出色。然而，对于预训练期间未见过的语言（尤其是非洲语言），性能仍有显著下降。适应新语言最有效的方法之一是语言自适应微调（LAFT）——使用预训练目标在单语文本上对多语言PLM进行微调。然而，单独适应目标语言会占用大量磁盘空间，并限制模型的跨语言迁移能力，因为这些模型已针对单一语言专门化。本文对17种资源最丰富的非洲语言和非洲大陆广泛使用的另外3种高资源语言进行多语言自适应微调，以促进跨语言迁移学习。为了进一步专门化多语言PLM，我们在MAFT之前从嵌入层移除了与非非洲书写脚本对应的词汇标记，从而将模型大小减少了约50%。我们在两种多语言PLM（AfriBERTa和XLM-R）和三项NLP任务（命名实体识别、新闻主题分类和情感分类）上的评估表明，我们的方法在显著减少磁盘空间需求的同时，与单独应用LAFT的效果相当。此外，我们还展示了经过适配的PLM也能提升参数高效微调方法的零样本跨语言迁移能力。",  
}