license: mit
datasets:

• xnli
  language:
• ar
  metrics:
• accuracy
  pipeline_tag: zero-shot-classification

XLM-ROBERTA-BASE-XNLI-AR

模型描述

该模型基于XLM-Roberta-base模型，该模型在多种语言的Twitter大型语料库上进行了持续预训练。
其开发遵循了与Tweet Eval框架类似的策略。
该模型进一步在XNLI训练数据集的阿拉伯语部分上进行了微调。

预期用途

该模型旨在用于仇恨言论检测领域的零样本文本分类。由于在阿拉伯语数据上进行了微调，其专注于阿拉伯语。由于基础模型在100种不同语言上进行了预训练，因此在其他语言中也显示出一定的有效性。请参阅XLM Roberta论文中的语言列表。

使用零样本分类流程

from transformers import pipeline  
classifier = pipeline("zero-shot-classification",  
                      model="morit/arabic_xlm_xnli")  

训练

该模型首先在100种语言上进行了预训练，随后按照原论文所述，在1.98亿条多语言推文上进行了进一步训练。接着在阿拉伯语的XNLI训练集上进行了训练，该数据集是MNLI数据集的机器翻译版本。模型在XNLI训练集上训练了5个周期，并在每个周期结束时在XNLI评估数据集上进行评估，以选择性能最佳的模型。最终选择了在评估集上准确率最高的模型。

• 学习率：2e-5
• 批量大小：32
• 最大序列长度：128

使用GPU（NVIDIA GeForce RTX 3090）进行训练，耗时1小时47分钟。

评估

最佳模型在XNLI测试集上进行了评估，以获得可比较的结果：

predict_accuracy = 74.19 %