库名称：transformers
基础模型：

• answerdotai/ModernBERT-large
  许可证：apache-2.0
  语言：
• en
  任务标签：zero-shot-classification
  数据集：
• nyu-mll/glue
• facebook/anli
  标签：
• instruct
• natural-language-inference
• nli

模型卡片

本模型是基于tasksource自然语言推理（NLI）任务（包括MNLI、ANLI、SICK、WANLI、doc-nli、LingNLI、FOLIO、FOL-NLI、LogicNLI、Label-NLI及下表所有数据集）进行多任务微调的ModernBERT模型。
此版本相当于“指导”版本。
模型在Nvidia A30 GPU上训练了20万步。

该模型在推理任务（优于llama 3.1 8B Instruct在ANLI和FOLIO上的表现）、长文本推理、情感分析和新标签的零样本分类方面表现优异。

下表展示了模型在测试集上的准确率。这些分数是同一Transformer模型在不同分类头下的表现。
通过单任务微调（如SST）可进一步提升性能，但此检查点在零样本分类和自然语言推理（矛盾/蕴含/中性分类）中表现极佳。

使用方法

[ZS] 零样本分类流水线

from transformers import pipeline  
classifier = pipeline("zero-shot-classification", model="tasksource/ModernBERT-large-nli")  

text = "总有一天我会环游世界"  
candidate_labels = ['旅行', '烹饪', '舞蹈']  
classifier(text, candidate_labels)  

本模型的NLI训练数据包含label-nli，这是一个专门为提升此类零样本分类性能构建的NLI数据集。

[NLI] 自然语言推理流水线

from transformers import pipeline  
pipe = pipeline("text-classification", model="tasksource/ModernBERT-large-nli")  
pipe([dict(text='有一只猫',  
  text_pair='有一只黑猫')])  # (前提,假设)的列表  

用于进一步微调的主干模型

此检查点比基础版本具有更强的推理和细粒度能力，可用于进一步微调。

引用

@inproceedings{sileo-2024-tasksource,  
    title = "tasksource: 一个包含结构化数据集预处理框架的大规模NLP任务集合",  
    author = "Sileo, Damien",  
    booktitle = "2024年计算语言学与语言资源国际联合会议论文集(LREC-COLING 2024)",  
    month = 5,  
    year = "2024",  
    address = "意大利都灵",  
    publisher = "ELRA与ICCL",  
    url = "https://aclanthology.org/2024.lrec-main.1361",  
    pages = "15655--15684",  
}