语言:

• 英文 标签:
• 文本分类
• 零样本分类 基础模型: microsoft/deberta-v3-base 管道标签: 零样本分类 库名称: transformers 许可证: mit

模型描述: deberta-v3-base-zeroshot-v2.0

zeroshot-v2.0 系列模型

该系列模型专为使用Hugging Face管道进行高效零样本分类而设计。
这些模型无需训练数据即可进行分类，并可在GPU和CPU上运行。
最新零样本分类器的概览可在我的零样本分类器集合中查看。

zeroshot-v2.0系列模型的主要更新是，部分模型基于完全商业友好的数据训练，以满足严格许可证要求的用户需求。

这些模型可执行一项通用分类任务：给定一段文本，判断假设是“真”还是“非真”（蕴含 vs. 非蕴含）。
该任务格式基于自然语言推理任务（NLI）。
该任务具有普适性，任何分类任务均可通过Hugging Face管道重新表述为此任务。

训练数据

名称中包含“-c”的模型基于两类完全商业友好的数据训练：

1. 使用Mixtral-8x7B-Instruct-v0.1生成的合成数据。
   我首先通过与Mistral-large对话，为25个职业创建了500多个多样化的文本分类任务列表。数据经过人工筛选。
   随后以此作为种子数据，使用Mixtral-8x7B-Instruct-v0.1为这些任务生成了数十万条文本。
   最终使用的数据集可在synthetic_zeroshot_mixtral_v0.1数据集的子集mixtral_written_text_for_tasks_v4中找到。数据筛选经过多次迭代，未来版本将进一步完善。
2. 两个商业友好的NLI数据集：(MNLI, FEVER-NLI)。
   添加这些数据集以增强泛化能力。
3. 名称中不含“-c”的模型还包含更广泛的训练数据混合，许可证类型更多样：ANLI、WANLI、LingNLI，以及此列表中所有标记为used_in_v1.1==True的数据集。

如何使用模型

#!pip install transformers[sentencepiece]
from transformers import pipeline
text = "安格拉·默克尔是德国政治家，基民盟领袖"
hypothesis_template = "这段文本涉及{}"
classes_verbalized = ["政治", "经济", "娱乐", "环境"]
zeroshot_classifier = pipeline("zero-shot-classification", model="MoritzLaurer/deberta-v3-large-zeroshot-v2.0")  # 在此更改模型标识符
output = zeroshot_classifier(text, classes_verbalized, hypothesis_template=hypothesis_template, multi_label=False)
print(output)

multi_label=False强制模型仅选择一个类别。multi_label=True允许模型选择多个类别。

性能指标

模型在28个不同的文本分类任务上使用f1_macro指标进行评估。
主要参考点是facebook/bart-large-mnli，截至撰写时（2024年4月3日），这是最常用的商业友好型零样本分类器。