deberta-v3-base-zeroshot-v1

模型描述

该模型专为使用Hugging Face流水线进行零样本分类而设计。相较于我在Hugging Face平台上的其他零样本模型（详见：https://huggingface.co/MoritzLaurer），该模型在零样本分类任务上应有显著提升。

该模型能完成一项通用任务：给定文本（也称为前提），判断假设是真实或不真实（即蕴含与不蕴含关系）。
此任务形式基于自然语言推理任务（NLI）。由于其通用性，任何分类任务均可重新表述为此形式。

训练数据

模型在27个任务和310个类别的混合数据集上训练，这些数据均被重新格式化为统一结构：

1. 包含约40万文本的26个分类任务： 'amazonpolarity', 'imdb', 'appreviews', 'yelpreviews', 'rottentomatoes', 'emotiondair', 'emocontext', 'empathetic', 'financialphrasebank', 'banking77', 'massive', 'wikitoxic_toxicaggregated', 'wikitoxic_obscene', 'wikitoxic_threat', 'wikitoxic_insult', 'wikitoxic_identityhate', 'hateoffensive', 'hatexplain', 'biasframes_offensive', 'biasframes_sex', 'biasframes_intent', 'agnews', 'yahootopics', 'trueteacher', 'spam', 'wellformedquery'。 各数据集详情参见：https://docs.google.com/spreadsheets/d/1Z18tMh02IiWgh6o8pfoMiI_LH4IXpr78wd_nmNd5FaE/edit?usp=sharing
2. 包含约88.5万文本的5个NLI数据集："mnli", "anli", "fever", "wanli", "ling"

需注意，与其他NLI模型不同，本模型预测两个类别（蕴含 vs 不蕴含），而非三个类别（蕴含/中立/矛盾）

使用方法

简易零样本分类流水线

from transformers import pipeline
classifier = pipeline("zero-shot-classification", model="MoritzLaurer/deberta-v3-base-zeroshot-v1")
sequence_to_classify = "安格拉·默克尔是德国政治家，基民盟领袖"
candidate_labels = ["政治", "经济", "娱乐", "环境"]
output = classifier(sequence_to_classify, candidate_labels, multi_label=False)
print(output)

数据与训练详情

数据准备及模型训练评估的完整开源代码见：https://github.com/MoritzLaurer/zeroshot-classifier/tree/main

局限性及偏差

该模型仅适用于文本分类任务。

关于潜在偏差，请参考原始DeBERTa论文及各数据集的原始论文。

许可协议

基础模型（DeBERTa-v3）采用MIT许可证发布。 模型微调所用数据集遵循多种不同许可协议。 非NLI数据集的许可信息、相关论文等概述参见：https://docs.google.com/spreadsheets/d/1Z18tMh02IiWgh6o8pfoMiI_LH4IXpr78wd_nmNd5FaE/edit?usp=sharing

此外，模型还在以下NLI数据集上进行了训练：MNLI、ANLI、WANLI、LING-NLI、FEVER-NLI。

引用

若使用本模型，请引用：

@article{laurer_less_2023,
	title = {更少标注，更多分类：通过深度迁移学习和BERT-NLI解决监督机器学习的数据稀缺问题},
	issn = {1047-1987, 1476-4989},
	shorttitle = {更少标注，更多分类},
	url = {https://www.cambridge.org/core/product/identifier/S1047198723000207/type/journal_article},
	doi = {10.1017/pan.2023.20},
	language = {en},
	urldate = {2023-06-20},
	journal = {Political Analysis},
	author = {Laurer, Moritz and Van Atteveldt, Wouter and Casas, Andreu and Welbers, Kasper},
	month = jun,
	year = {2023},
	pages = {1--33},
}

合作意向或疑问？

如有合作想法或问题，请联系：m{dot}laurer{at}vu{dot}nl 或通过LinkedIn

调试与问题说明

请注意DeBERTa-v3发布于2021年12月6日，旧版HF Transformers可能存在运行问题（如分词器异常）。使用Transformers>=4.13版本可能解决部分问题。