许可协议: apache-2.0 数据集:

• AyoubChLin/CNN_News_Articles_2011-2022 语言:
• 英文 评估指标:
• f1值
• 准确率 管道标签: 零样本分类 标签:
• 零样本
• 文本分类
• 新闻分类

Huggingface模型: BART-MNLI零样本文本分类

这是一个基于CNN新闻数据集微调的Huggingface模型，采用BART-MNLI架构进行零样本文本分类任务。该模型在CNN测试集（最大长度128个标记）上取得了94%的f1值和94%的准确率。

作者

本作品由CHERGUELAINE Ayoub和BOUBEKRI Faycal共同完成

原始模型

facebook/bart-large-mnli

模型架构

BART-Large-MNLI模型包含12层Transformer结构，隐藏层维度1024，参数量达4.06亿。该模型先在英文维基百科和BookCorpus数据集上进行预训练，再针对多体裁自然语言推理(MNLI)任务进行微调。

数据集

微调采用CNN新闻数据集，包含来自CNN网站的新闻文章，标注为6个类别：政治、健康、娱乐、科技、旅游、国际和体育。

微调参数

模型在最大长度256个标记的条件下微调了1个epoch，训练耗时约6小时。

评估指标

在最大长度128个标记的CNN测试集上，模型取得了94%的f1值和94%的准确率。

使用说明

本模型可用于新闻文章的零样本文本分类任务，可通过Huggingface Transformers库调用：

from transformers import pipeline, AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("AyoubChLin/Bart-MNLI-CNN_news")

model = AutoModelForSequenceClassification.from_pretrained("AyoubChLin/Bart-MNLI-CNN_news")
classifier = pipeline(
    "zero-shot-classification",
    model=model,
    tokenizer=tokenizer,
    device=0
)

致谢

我们衷心感谢Huggingface团队开源Transformer模型实现，以及CNN新闻数据集提供用于微调的标注数据。