语言:

• 多语言
• 英语
• 法语
• 西班牙语
• 德语
• 意大利语
• 葡萄牙语
• 荷兰语
• 瑞典语
• 波兰语
• 俄语
• 阿拉伯语
• 土耳其语
• 中文
• 日语
• 韩语
• 印地语
• 越南语 许可证: cc-by-nc-4.0

xlm-mlm-17-1280

目录

1. 模型详情
2. 用途
3. 偏见、风险和限制
4. 训练
5. 评估
6. 环境影响
7. 技术规格
8. 引用
9. 模型卡片作者
10. 如何开始使用该模型

模型详情

xlm-mlm-17-1280是XLM模型，由Guillaume Lample和Alexis Conneau在跨语言语言模型预训练中提出，基于17种语言的文本训练而成。该模型是通过掩码语言建模（MLM）目标预训练的Transformer模型。

模型描述

• 开发者: 参见相关论文和GitHub仓库
• 模型类型: 语言模型
• 支持语言(NLP): 17种语言，完整列表参见GitHub仓库
• 许可证: CC-BY-NC-4.0
• 相关模型: xlm-mlm-17-1280
• 更多信息:
  • 相关论文
  • GitHub仓库
  • Hugging Face多语言推理模型文档

用途

直接使用

该模型是一个语言模型，可用于掩码语言建模任务。

下游使用

关于该任务及潜在下游应用的更多信息，请参阅Hugging Face的填空任务文档和多语言推理模型文档。另请参阅相关论文。

超出适用范围的使用

该模型不应被用于故意制造敌对或疏远人群的环境。

偏见、风险和限制

已有大量研究探讨了语言模型中的偏见和公平性问题（例如参见Sheng等人(2021)和Bender等人(2021)）。

建议

用户（包括直接使用和下游应用）应了解该模型的风险、偏见和局限性。

训练

该模型是基于17种语言文本训练的XLM模型。预处理包括分词和字节对编码。关于训练数据和训练过程的更多细节，请参阅GitHub仓库和相关论文。

Conneau等人(2020)报告该模型具有16层、1280个隐藏状态、16个注意力头，前馈层维度为1520。词汇表大小为20万，总参数量为5.7亿（见表7）。

评估

测试数据、因素和指标

模型开发者在XNLI跨语言分类任务上评估了该模型（关于XNLI的更多细节请参阅XNLI数据卡片），使用测试准确率作为指标。关于测试数据、因素和指标的更多细节，请参阅GitHub仓库。

结果

xlm-mlm-17-1280在XNLI跨语言分类任务上的测试准确率（英语(en)、西班牙语(es)、德语(de)、阿拉伯语(ar)和中文(zh)）：

更多细节请参阅GitHub仓库。

环境影响

碳排放量可以使用Lacoste等人(2019)提出的机器学习影响计算器进行估算。

• 硬件类型: 需要更多信息
• 使用时长: 需要更多信息
• 云服务提供商: 需要更多信息
• 计算区域: 需要更多信息
• 碳排放量: 需要更多信息

技术规格

Conneau等人(2020)报告该模型具有16层、1280个隐藏状态、16个注意力头，前馈层维度为1520。词汇表大小为20万，总参数量为5.7亿（见表7）。

引用

BibTeX:

@article{lample2019cross,
  title={Cross-lingual language model pretraining},
  author={Lample, Guillaume and Conneau, Alexis},
  journal={arXiv preprint arXiv:1901.07291},
  year={2019}
}

APA:

• Lample, G., & Conneau, A. (2019). Cross-lingual language model pretraining. arXiv preprint arXiv:1901.07291.

模型卡片作者

本模型卡片由Hugging Face团队撰写。

如何开始使用该模型

需要更多信息。示例请参见GitHub仓库中的ipython notebook。