语言:

• 多语言
• 英语
• 法语
• 西班牙语
• 德语
• 希腊语
• 保加利亚语
• 俄语
• 土耳其语
• 阿拉伯语
• 越南语
• 泰语
• 中文
• 印地语
• 斯瓦希里语
• 乌尔都语 标签:
• PyTorch 许可证:
• Apache-2.0 数据集:
• 多语言自然语言推理数据集(multi_nli)
• 跨语言自然语言推理数据集(xnli) 评估指标:
• xnli

基于MNLI和XTREME-XNLI微调的MT5-large模型

模型描述

本模型基于预训练的大型多语言T5模型(也可通过模型库获取)，并在英语MNLI和xtreme_xnli训练集上进行了微调。该模型专为零样本文本分类任务设计，灵感来源于xlm-roberta-large-xnli。

使用场景

本模型适用于零样本文本分类任务，尤其针对非英语语言。它在英语MNLI和多语言NLI数据集xtreme_xnli上进行了微调，因此可用于XNLI语料库中的任何语言：

• 阿拉伯语
• 保加利亚语
• 中文
• 英语
• 法语
• 德语
• 希腊语
• 印地语
• 俄语
• 西班牙语
• 斯瓦希里语
• 泰语
• 土耳其语
• 乌尔都语
• 越南语

根据xlm-roberta-large-xnli的建议，若仅需英语分类，可考虑：

• bart-large-mnli
• 蒸馏版bart MNLI模型

零样本分类示例：

微调后模型保留了文本到文本的特性，这意味着预期输出仍为文本。在微调过程中，模型学会用单个标记响应NLI任务，分别对应蕴含、中性和矛盾关系。NLI任务通过固定前缀"xnli:"标识。

以下是使用PyTorch的示例，模拟zero-shot-classification流程。我们使用语言模型第一个输出标记的logits表示置信度。

from torch.nn.functional import softmax
from transformers import MT5ForConditionalGeneration, MT5Tokenizer

# 此处省略具体代码实现，详见英文原文

注意：由于TF版本模型的generate函数与PyTorch版本不完全兼容，上述代码不能直接转换使用。目前该模型与现有的zero-shot-classification流程不兼容。

训练过程

本模型基于mC4语料库中的101种语言进行预训练，详见MT5论文。随后参考官方仓库的方法，在mt5_xnli_translate_train任务上进行了8,000步微调，并借鉴了Stephen Mayhew的笔记。最终模型转换为Hugging Face格式。

评估结果

XNLI测试集准确率：