语言: 中文 标签:

• exbert

许可证: CC-BY-NC-4.0

xlm-mlm-en-2048

目录

1. 模型详情
2. 用途
3. 偏见、风险与限制
4. 训练
5. 评估
6. 环境影响
7. 引用
8. 模型卡片作者
9. 如何开始使用该模型

模型详情

XLM模型由Guillaume Lample和Alexis Conneau在论文跨语言语言模型预训练中提出。该模型通过因果语言建模（CLM）目标（下一词预测）、掩码语言建模（MLM）目标（类似BERT）或翻译语言建模（TLM）目标（将BERT的MLM扩展到多语言输入）进行预训练。本模型基于英语文本采用掩码语言建模目标训练。

模型描述

• 开发者: Facebook AI研究人员，参见相关论文和GitHub仓库
• 模型类型: 语言模型
• 支持语言: 英语
• 许可证: CC-BY-NC-4.0
• 相关模型: 其他XLM模型
• 更多信息:
  • Guillaume Lample和Alexis Conneau的跨语言语言模型预训练 (2019)
  • Conneau等人的大规模无监督跨语言表征学习 (2020)
  • GitHub仓库
  • Hugging Face XLM文档

用途

直接使用

该模型为语言模型，可用于掩码语言建模任务。

下游应用

关于此任务及潜在下游应用的更多信息，请参阅Hugging Face的填充掩码文档和多语言推理模型文档，以及相关论文。

非适用场景

不得使用该模型故意制造敌对或排斥性的环境。

偏见、风险与限制

已有大量研究探讨语言模型中的偏见与公平性问题（参见Sheng等人(2021)和Bender等人(2021)）。

建议

应告知用户（包括直接使用和下游应用）该模型的风险、偏见和限制。

训练

更多信息请参见相关GitHub仓库。

评估

更多信息请参见相关GitHub仓库。

环境影响

碳排放量可通过Lacoste等人(2019)提出的机器学习影响计算器估算。

• 硬件类型: 需补充信息
• 使用时长: 需补充信息
• 云服务商: 需补充信息
• 计算区域: 需补充信息
• 碳排放量: 需补充信息

引用

BibTeX格式:

@article{lample2019cross,
  title={Cross-lingual language model pretraining},
  author={Lample, Guillaume and Conneau, Alexis},
  journal={arXiv preprint arXiv:1901.07291},
  year={2019}
}

APA格式:

• Lample, G., & Conneau, A. (2019). Cross-lingual language model pretraining. arXiv preprint arXiv:1901.07291.

模型卡片作者

本模型卡片由Hugging Face团队撰写。

如何开始使用该模型

以下代码展示如何快速使用该模型，更多示例参见Hugging Face XLM文档。

from transformers import XLMTokenizer, XLMModel
import torch

tokenizer = XLMTokenizer.from_pretrained("xlm-mlm-en-2048")
model = XLMModel.from_pretrained("xlm-mlm-en-2048")

inputs = tokenizer("你好，我的狗很可爱", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state