许可证: mit 数据集:

• xnli 语言:
• 法语 评估指标:
• 准确率 流水线标签: 零样本分类

XLM-ROBERTA-BASE-XNLI_FR

模型描述

本模型基于XLM-Roberta-base模型，该模型在多语言推特大型语料库上进行了持续预训练。
其开发遵循了与Tweet Eval框架类似的策略。
该模型进一步在XNLI训练数据集的法语部分上进行了微调。

预期用途

本模型专为仇恨言论检测领域的零样本文本分类而开发。由于是在法语数据上微调的，因此主要关注法语文本分类。由于基础模型预训练涵盖100种语言，在其他语言上也展现了一定效果。具体语言列表请参阅XLM Roberta论文。

使用零样本分类流水线

from transformers import pipeline
classifier = pipeline("zero-shot-classification",
                      model="morit/french_xlm_xnli")

加载模型后，可对上述语言文本进行分类。需指定待分类文本和对应假设模板，从而对候选标签进行分类。

待分类文本 = "你们觉得马克龙会赢得选举吗？"


# 可指定候选标签和假设模板:
候选标签 = ["政治", "体育"]
假设模板 = "这个例子属于{}类别"

# 使用提供的信息进行分类
classifier(待分类文本, 候选标签, hypothesis_template=假设模板)


# 输出结果
#{'sequence': '你们觉得马克龙会赢得选举吗？',
#'labels': ['政治', '体育'],
#'scores': [0.8195879459381104, 0.18041200935840607]}

训练过程

本模型先在100种语言上预训练，随后按照原论文所述在1.98亿条多语言推文上继续训练。最后在法语XNLI训练集（MNLI数据集的机器翻译版本）上微调。模型历经5个训练周期，每个周期结束时评估XNLI验证集以选择最佳模型。

• 学习率: 2e-5
• 批次大小: 32
• 最大序列长度: 128

使用NVIDIA GeForce RTX 3090显卡，训练耗时1小时47分钟。

评估

最佳模型在XNLI测试集上的评估结果：

预测准确率 = 78.02%