MuRIL大型模型

印度语言的多语言表征：基于BERT大型架构（24层）的预训练模型，涵盖17种印度语言及其转写版本。

概述

本模型采用BERT大型架构[1]，基于维基百科[2]、Common Crawl[3]、PMINDIA[4]和Dakshina[5]语料库对17种[6]印度语言进行全新预训练。训练范式与多语言BERT类似，但包含以下改进：

• 训练中同时包含翻译和转写的文本段对
• 采用0.3而非0.7的指数值进行上采样，可提升低资源语言性能[7]

详见"训练"章节。

训练

MuRIL模型通过以下两类数据进行预训练：

• 单语数据：维基百科和Common Crawl公开语料库
• 平行数据：
  • 翻译数据：通过Google NMT管道获取单语语料翻译，使用PMINDIA公开语料
  • 转写数据：通过IndicTrans库[8]获取维基百科转写文本，使用Dakshina公开数据集

采用0.3指数值计算低资源语言的上采样倍数，转写对仅限维基百科数据。模型通过掩码语言建模任务进行自监督训练，采用全词掩码（最多80个预测），训练150万步（批量大小8192，最大序列长度512）。

可训练参数

模块内所有参数均可训练，推荐完整微调所有参数。

用途与限制

本模型适用于印度语言的下游NLP任务，特别针对印度常见的转写现象优化。不适用于预训练语言（17种印度语言）之外的其他语言。

评估

我们在XTREME基准测试的印度语言数据集上进行零样本评估（英语作为高资源训练语言），对比XLM-R（Large）模型[9]结果：

性能对比（%）

微调超参数

参考文献

[1-10] 涵盖BERT架构、训练语料来源、对比研究等（详见原文引用）

引用

若使用MuRIL模型，请引用：

@misc{khanuja2021muril,
      title={MuRIL: Multilingual Representations for Indian Languages}, 
      author={Simran Khanuja et al.},
      year={2021},
      eprint={2103.10730},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

联系方式

咨询反馈请邮件至：muril-contact@google.com