thumbnail: https://huggingface.co/front/thumbnails/google.png license: apache-2.0

MuRIL：印度语言的多语言表征

MuRIL是一个基于17种印度语言及其转写文本预训练的BERT模型。我们在此代码库中发布了预训练模型（保留MLM层以实现掩码词预测功能），同时还在TFHub发布了包含额外预处理模块的编码器，该模块可将原始文本处理为编码器所需输入格式。更多技术细节请参阅我们的论文。

模型概览

本模型采用BERT基础架构[1]，基于维基百科[2]、Common Crawl[3]、PMINDIA[4]和Dakshina[5]语料库对17种[6]印度语言进行全量预训练。训练范式与多语言BERT类似，但包含以下改进：

• 引入翻译和转写文本对作为训练数据
• 采用0.3而非0.7的上采样指数值（研究[7]表明可提升低资源语言性能）

详见训练章节。

训练细节

MuRIL通过以下两类语料进行预训练：

• 单语数据：17种印度语言的维基百科和Common Crawl公开语料
• 平行数据：
  • 翻译数据：通过Google NMT管道获取上述单语语料的译文，输入翻译文本对；同时采用PMINDIA公开语料
  • 转写数据：使用IndicTrans[8]库生成维基百科的转写文本，输入转写文本对；同时采用Dakshina公开数据集

采用0.3指数值计算低资源语言的上采样倍数。注意：转写文本对仅限维基百科语料。

模型通过掩码语言建模任务进行自监督训练，采用全词掩码策略（最大80个预测位置）。训练100万步，批次大小4096，最大序列长度512。

可训练参数

所有参数均可微调，推荐进行全参数微调。

应用与局限

本模型适用于印度语言的下游NLP任务，特别针对印度语境中常见的转写现象进行了优化。但仅支持预训练的17种印度语言。

评估结果

我们在XTREME基准测试的印度语言子集上进行评测（含转写测试集），采用与[9]相同的微调设置（TyDiQA任务额外使用SQuAD v1.1英文训练数据[10]）。Tatoeba任务直接使用末层pooled_output作为句向量。所有结果均为英语作为高资源训练语言的零样本性能。

XTREME基准表现（%）

（其他任务表格保持相同格式，此处省略）

转写测试集表现

MuRIL在转写文本上的表现显著优于mBERT，例如：

• PANX任务平均F1从14.24%提升至57.70%
• UDPOS任务平均F1从28.20%提升至62.09%
• XNLI任务平均准确率从39.23%提升至64.70%

参考文献

[1]-[10] 保留原始引用格式

引用

若使用MuRIL，请引用：

@misc{khanuja2021muril,
      title={MuRIL: Multilingual Representations for Indian Languages},
      author={Simran Khanuja et al.},
      year={2021},
      eprint={2103.10730},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

联系

咨询反馈请邮件至muril-contact@google.com