模型描述：deberta-v3-large-zeroshot-v1.1-all-33

该模型专为使用Hugging Face流水线进行零样本分类而设计。

该模型可执行一项通用分类任务：给定一段文本，判断假设是"真实"还是"不真实"（蕴含 vs. 不蕴含）。
此任务格式基于自然语言推理任务(NLI)。该任务具有高度通用性，任何分类任务均可重新表述为此形式。

关于模型训练方式及使用方法的详细说明，请参阅此论文。

训练数据

该模型在__33个数据集和387个类别__的混合数据上进行训练，这些数据已被重新格式化为通用形式：

1. 五个NLI数据集，约88.5万文本："mnli"、"anli"、"fever"、"wanli"、"ling"
2. 28个分类任务重新格式化为通用NLI形式。为避免过拟合，使用了约5.1万条清洗后的文本： 'amazonpolarity', 'imdb', 'appreviews', 'yelpreviews', 'rottentomatoes', 'emotiondair', 'emocontext', 'empathetic', 'financialphrasebank', 'banking77', 'massive', 'wikitoxic_toxicaggregated', 'wikitoxic_obscene', 'wikitoxic_threat', 'wikitoxic_insult', 'wikitoxic_identityhate', 'hateoffensive', 'hatexplain', 'biasframes_offensive', 'biasframes_sex', 'biasframes_intent', 'agnews', 'yahootopics', 'trueteacher', 'spam', 'wellformedquery', 'manifesto', 'capsotu'.

各数据集详情参见：https://github.com/MoritzLaurer/zeroshot-classifier/blob/main/datasets_overview.csv

注意：与其他NLI模型不同，该模型预测两个类别（蕴含 vs. 不蕴含），而非三个类别（蕴含/中立/矛盾）

该模型仅在英文数据上训练。对于__多语言场景__，建议使用EasyNMT等库将文本机器翻译为英文。纯英文模型通常表现优于多语言模型，且若您不熟悉语料库中的所有语言，使用英文数据验证会更方便。

如何使用模型

简单零样本分类流水线

#!pip install transformers[sentencepiece]
from transformers import pipeline
text = "安格拉·默克尔是德国政治家，基民盟领导人"
hypothesis_template = "这个例子是关于{}的"
classes_verbalized = ["政治", "经济", "娱乐", "环境"]
zeroshot_classifier = pipeline("zero-shot-classification", model="MoritzLaurer/deberta-v3-large-zeroshot-v1.1-all-33")
output = zeroshot_classifier(text, classes_verbalised, hypothesis_template=hypothesis_template, multi_label=False)
print(output)

数据与训练详情

数据准备及模型训练评估的完整开源代码见：https://github.com/MoritzLaurer/zeroshot-classifier/tree/main

超参数等详细信息见此Weights & Biases仓库：https://wandb.ai/moritzlaurer/deberta-v3-large-zeroshot-v1-1-all-33/table?workspace=user-

指标

报告所有数据集的平衡准确率。
deberta-v3-large-zeroshot-v1.1-all-33在所有数据集上训练，每类最多使用500个文本以避免过拟合。
因此这些数据集上的指标并非严格零样本，因为模型在训练过程中已见过每个任务的某些数据。
deberta-v3-large-zeroshot-v1.1-heldout表示在相应数据集上的零样本性能。
为计算这些零样本指标，流水线运行了28次，每次训练时保留一个数据集以模拟零样本设置。