语言:

• 英文 标签:
• 文本分类
• 零样本分类 基础模型: facebookai/roberta-large 管道标签: 零样本分类 库名称: transformers 许可证: mit

模型描述: roberta-large-zeroshot-v2.0-c

zeroshot-v2.0 系列模型

该系列模型专为使用Hugging Face管道进行高效零样本分类而设计。
这些模型无需训练数据即可进行分类，并可在GPU和CPU上运行。
最新零样本分类器的概述可在我的零样本分类器集合中找到。

zeroshot-v2.0系列模型的主要更新是，部分模型针对具有严格许可要求的用户，使用完全商业友好的数据进行训练。

这些模型可执行一项通用分类任务：给定一段文本，判断一个假设是“真”还是“非真”（蕴含 vs. 非蕴含）。
此任务格式基于自然语言推理任务（NLI）。
该任务具有普适性，任何分类任务均可通过Hugging Face管道重新表述为此任务。

训练数据

名称中包含“-c”的模型使用两种完全商业友好的数据进行训练：

1. 使用Mixtral-8x7B-Instruct-v0.1生成的合成数据。
   我首先通过与Mistral-large对话，为25个职业创建了500多个多样化的文本分类任务列表，并进行了人工筛选。
   随后以此作为种子数据，使用Mixtral-8x7B-Instruct-v0.1为这些任务生成了数十万条文本。
   最终使用的数据集可在synthetic_zeroshot_mixtral_v0.1数据集的子集mixtral_written_text_for_tasks_v4中找到。数据筛选经过多次迭代，未来版本将进一步优化。
2. 两个商业友好的NLI数据集：(MNLI, FEVER-NLI)。
   这些数据集用于提升泛化能力。
3. 名称中不含“-c”的模型还包含更广泛的训练数据混合，涵盖多种许可证：ANLI、WANLI、LingNLI，以及此列表中所有标记为used_in_v1.1==True的数据集。

如何使用模型

#!pip install transformers[sentencepiece]
from transformers import pipeline
text = "安格拉·默克尔是德国政治家，基民盟领袖"
hypothesis_template = "这段文本关于{}"
classes_verbalized = ["政治", "经济", "娱乐", "环境"]
zeroshot_classifier = pipeline("zero-shot-classification", model="MoritzLaurer/deberta-v3-large-zeroshot-v2.0")  # 在此更改模型标识符
output = zeroshot_classifier(text, classes_verbalized, hypothesis_template=hypothesis_template, multi_label=False)
print(output)

multi_label=False强制模型仅选择一个类别。multi_label=True允许模型选择多个类别。

指标

模型在28个不同的文本分类任务上使用f1_macro指标进行评估。
主要参考点是facebook/bart-large-mnli，截至撰写时（2024年4月3日），这是最常用的商业友好零样本分类器。

这些数字表示零样本性能，因为这些数据集的数据未包含在训练混合中。
注意，标题中不含“-c”的模型评估了两次：一次不包含这28个数据集的任何数据以测试纯零样本性能（各列中的第一个数字），
另一次包含来自每个28个数据集的每类最多500个训练数据点（列中括号内的第二个数字，“fewshot”）。没有模型在测试数据上训练。

不同数据集的详细信息请见：https://github.com/MoritzLaurer/zeroshot-classifier/blob/main/v1_human_data/datasets_overview.csv

何时使用哪种模型

• deberta-v3-zeroshot vs. roberta-zeroshot：deberta-v3性能明显优于roberta，但速度稍慢。
  roberta直接兼容Hugging Face的生产推理TEI容器和flash attention。
  这些容器是生产用例的良好选择。简而言之：追求准确性，使用deberta-v3模型；
  若生产推理速度是关键，可考虑roberta模型（例如在TEI容器和HF推理端点中）。
• 商业用例：标题中含“-c”的模型保证仅使用商业友好数据训练。
  不含“-c”的模型训练数据更多、性能更好，但包含非商业许可数据。
  法律意见对此类训练数据是否影响模型许可存在分歧。对法律要求严格的用户，
  推荐使用标题中含“-c”的模型。
• 多语言/非英语用例：使用bge-m3-zeroshot-v2.0或bge-m3-zeroshot-v2.0-c。
  注意多语言模型性能低于纯英语模型。因此也可先用EasyNMT等库将文本机器翻译为英语，
  再对翻译后的数据应用任何纯英语模型。若团队不掌握数据中的所有语言，机器翻译也便于验证。
• 上下文窗口：bge-m3模型最多可处理8192个token，其他模型最多处理512个。注意更长的文本输入会降低模型速度及性能，
  因此若仅处理最多约400词/1页的文本，使用如deberta模型可获得更好性能。
• 最新模型更新请见零样本分类器集合。

复现

复现代码位于v2_synthetic_data目录：https://github.com/MoritzLaurer/zeroshot-classifier/tree/main

局限性与偏差

模型仅能执行文本分类任务。

偏差可能来自底层基础模型、人工NLI训练数据及Mixtral生成的合成数据。

许可证

基础模型依据MIT许可证发布。
训练数据的许可证因模型而异，详见上文。

引用

此模型是此论文所述研究的扩展。

若学术使用此模型，请引用：

@misc{laurer_building_2023,
	title = {基于自然语言推理构建高效通用分类器},
	url = {http://arxiv.org/abs/2312.17543},
	doi = {10.48550/arXiv.2312.17543},
	abstract = {生成式大语言模型（LLMs）凭借文本生成的普适性，已成为少样本和零样本学习的主流选择。然而，许多用户仅需自动化分类任务时，并不需要生成式LLMs的广泛能力。较小的BERT类模型也可学习通用任务，使其无需微调（零样本分类）或仅需少量示例（少样本）即可执行任何文本分类任务，同时显著比生成式LLMs更高效。本文（1）阐释了如何将自然语言推理（NLI）用作遵循类似生成式LLMs指令微调原则的通用分类任务，（2）提供了构建通用分类器的分步指南及可复用的Jupyter笔记本，（3）分享了基于33个数据集、389个多样类别训练的通用分类器。截至2023年12月，我们分享的部分代码已用于训练下载量超5500万次的旧版零样本分类器。新版分类器零样本性能提升9.4%。},
	urldate = {2024-01-05},
	publisher = {arXiv},
	author = {劳雷尔, 莫里茨 and 范阿特维尔特, 沃特 and 卡萨斯, 安德鲁 and 韦尔伯斯, 卡斯珀},
	month = 12,
	year = {2023},
	note = {arXiv:2312.17543 [cs]},
	keywords = {计算机科学 - 人工智能, 计算机科学 - 计算与语言},
}

合作意向或问题？

如有问题或合作意向，请联系moritz{at}huggingface{dot}co或LinkedIn

灵活使用与“提示”

通过更改零样本管道的hypothesis_template，可自定义假设表述。
类似于LLMs的“提示工程”，可测试不同hypothesis_template和类别表述以提升性能。

from transformers import pipeline
text = "安格拉·默克尔是德国政治家，基民盟领袖"
# 表述1
hypothesis_template = "这段文本关于{}"
classes_verbalized = ["政治", "经济", "娱乐", "环境"]
# 根据用例调整表述2
hypothesis_template = "此文本主题为{}"
classes_verbalized = ["政治活动", "经济政策", "娱乐或音乐", "环境保护"]
# 测试不同表述
zeroshot_classifier = pipeline("zero-shot-classification", model="MoritzLaurer/deberta-v3-large-zeroshot-v2.0")  # 更改模型标识符
output = zeroshot_classifier(text, classes_verbalized, hypothesis_template=hypothesis_template, multi_label=False)
print(output)