library_name: transformers tags:

• arxiv:2409.12737 license: mit base_model:
• FacebookAI/xlm-roberta-large pipeline_tag: sentence-similarity

当前预训练的跨语言句子编码器方法仅使用句子级目标。这可能导致信息丢失，尤其是对词元而言，进而降低句子表征质量。我们提出MEXMA这一创新方法，整合了句子级和词元级双重目标。通过使用一种语言的句子表征来预测另一种语言的掩码词元，同时让句子表征和所有词元直接更新编码器。实验表明，添加词元级目标能显著提升多种任务中的句子表征质量。我们的方法在双语文本挖掘及多项下游任务中超越了现有预训练跨语言句子编码器。我们还分析了词元中编码的信息，以及句子表征如何从中构建。

使用方法

本模型与常规XLM-RoBERTa模型用法相同，需注意"pooler"层未经训练，因此应直接使用编码器输出的CLS作为句子表征：

from transformers import AutoTokenizer, XLMRobertaModel

tokenizer = AutoTokenizer.from_pretrained("xlm-roberta-large")
model = XLMRobertaModel.from_pretrained("facebook/MEXMA", add_pooling_layer=False)
example_sentences = ['句子1', '句子2']
example_inputs = tokenizer(example_sentences, return_tensors='pt')

outputs = model(**example_inputs)
sentence_representation = outputs.last_hidden_state[:, 0]
print(sentence_representation.shape) # torch.Size([2, 1024])

许可证

本模型采用MIT许可证发布。

训练代码

模型训练代码详见官方MEXMA仓库。

论文

MEXMA：词元级目标提升句子表征

引用

若使用本模型，请引用：

@misc{janeiro2024mexma,
  title={MEXMA：词元级目标提升句子表征}, 
  author={若昂·玛丽亚·雅内罗 and 本杰明·皮沃瓦斯基 and 帕特里克·加林纳里 and 洛伊克·巴罗},
  year={2024},
  eprint={2409.12737},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2409.12737}, 
}