许可证: mit
数据集:

• xnli
  语言:
• zh
  评估指标:
• accuracy
  管道标签: zero-shot-classification

XLM-ROBERTA-BASE-XNLI-ZH

模型描述

该模型基于XLM-Roberta-base模型，该模型在多种语言的Twitter大型语料库上进行了持续预训练。
其开发遵循了与Tweet Eval框架类似的策略。
该模型进一步在XNLI训练数据集的中文部分上进行了微调。

预期用途

该模型开发用于在仇恨言论检测领域进行零样本文本分类。由于其在中文数据上进行了微调，因此专注于中文语言。由于基础模型在100种不同语言上进行了预训练，因此在其他语言中也显示出了一定的有效性。请参阅XLM Roberta论文中的语言列表。

使用零样本分类管道

from transformers import pipeline  
classifier = pipeline("zero-shot-classification",  
                      model="morit/chinese_xlm_xnli")  

训练

该模型在100种语言上进行了预训练，并按照原始论文所述，进一步在1.98亿条多语言推文上进行了训练。此外，还在中文XNLI数据集的训练集上进行了训练，该数据集是MNLI数据集的机器翻译版本。模型在XNLI训练集上进行了5个周期的训练，并在每个周期结束时在XNLI评估数据集上进行评估，以找到性能最佳的模型。最终选择了在评估集上准确率最高的模型。

• 学习率: 2e-5
• 批量大小: 32
• 最大序列长度: 128

使用GPU（NVIDIA GeForce RTX 3090）进行训练，训练时间为1小时47分钟。

评估

性能最佳的模型在XNLI测试集上进行了评估，以获得可比较的结果：

预测准确率 = 76.17 %