🚀 xlm-clm-enfr-1024

xlm-clm-enfr-1024 是一个基于因果语言建模（CLM）目标（下一个词预测）进行预训练的Transformer模型，适用于英法双语场景，能为相关自然语言处理任务提供支持。

🚀 快速开始

使用以下代码开始使用该模型：

import torch
from transformers import XLMTokenizer, XLMWithLMHeadModel

tokenizer = XLMTokenizer.from_pretrained("xlm-clm-enfr-1024")
model = XLMWithLMHeadModel.from_pretrained("xlm-clm-enfr-1024")

input_ids = torch.tensor([tokenizer.encode("Wikipedia was used to")])  # batch size of 1

language_id = tokenizer.lang2id["en"]  # 0
langs = torch.tensor([language_id] * input_ids.shape[1])  # torch.tensor([0, 0, 0, ..., 0])

# We reshape it to be of size (batch_size, sequence_length)
langs = langs.view(1, -1)  # is now of shape [1, sequence_length] (we have a batch size of 1)

outputs = model(input_ids, langs=langs)

✨ 主要特性

• 专为英法双语设计，可进行因果语言建模（下一个词预测）。
• 基于Transformer架构，在相关自然语言处理任务中具有良好表现。

📚 详细文档

模型详情

XLM模型由Guillaume Lample和Alexis Conneau在论文 Cross-lingual Language Model Pretraining 中提出。xlm-clm-enfr-1024 是一个使用因果语言建模（CLM）目标（下一个词预测）为英法双语进行预训练的Transformer模型。

使用场景

直接使用

该模型是一个语言模型，可用于因果语言建模（下一个词预测）。

下游使用

要了解更多关于此任务和潜在的下游用途，请参阅 Hugging Face多语言推理模型文档。

超出范围的使用

该模型不应被用于故意为人们创造敌对或排斥的环境。

偏差、风险和局限性

大量研究已经探讨了语言模型的偏差和公平性问题（例如，参见 Sheng等人 (2021) 和 Bender等人 (2021)）。

⚠️ 重要提示

直接和下游用户都应该了解该模型的风险、偏差和局限性。

训练

有关训练数据和训练过程的详细信息，请参阅 相关论文。

评估

测试数据、因素和指标

有关测试数据、因素和指标的详细信息，请参阅 相关论文。

结果

关于 xlm-clm-enfr-1024 的结果，请参阅 相关论文 中的表2。

环境影响

可以使用 Lacoste等人 (2019) 中提出的 机器学习影响计算器 来估算碳排放。

技术规格

模型开发者表示：

我们使用PyTorch（Paszke等人，2017）实现了所有模型，并在64个Volta GPU上进行语言建模任务的训练，在8个GPU上进行机器翻译任务的训练。我们使用float16操作来加速训练并减少模型的内存使用。

更多详细信息请参阅 相关论文。

引用

BibTeX:

@article{lample2019cross,
  title={Cross-lingual language model pretraining},
  author={Lample, Guillaume and Conneau, Alexis},
  journal={arXiv preprint arXiv:1901.07291},
  year={2019}
}

APA:

• Lample, G., & Conneau, A. (2019). Cross-lingual language model pretraining. arXiv preprint arXiv:1901.07291.

模型卡片作者

此模型卡片由Hugging Face团队编写。