语言:

• 英文 缩略图: https://raw.githubusercontent.com/digitalepidemiologylab/covid-twitter-bert/master/images/COVID-Twitter-BERT_small.png 标签:
• 推特
• COVID-19
• 文本分类
• pytorch
• tensorflow
• bert 许可证: mit 数据集:
• mnli 流水线标签: 零样本分类 小部件示例:
• 文本: "为了阻止疫情蔓延，重要的是每个人都来接种疫苗。" 候选标签: 健康, 体育, 疫苗, 枪支

COVID-Twitter-BERT v2 MNLI

模型描述

该模型提供了一个零样本分类器，适用于因缺乏标注数据而无法针对特定任务微调CT-BERT的情况。

该技术基于Yin等人的研究。文章描述了一种巧妙利用预训练MNLI模型作为零样本序列分类器的方法。该模型已在40万条通用逻辑任务上完成微调。我们可以通过将分类任务重新表述为问题的方式，直接将其作为零样本分类器使用。

例如，若想将COVID相关推文分为"疫苗相关"和"非疫苗相关"两类，传统方法是收集数百条预标注推文并分为两类后进行模型微调。而使用零样本MNLI分类器时，您可以将问题重构为"这条文本是关于疫苗的"，直接进行推理——无需任何训练。

更多模型信息请访问我们的GitHub页面。

使用方法

请注意，问题的表述方式会导致结果略有差异。收集训练集并进行微调通常能获得更高准确率。

最简便的方式是使用Hugging Face流水线，其默认采用英语模板，会在文本前添加"This example is"前缀。

from transformers import pipeline
classifier = pipeline("zero-shot-classification", model="digitalepidemiologylab/covid-twitter-bert-v2-mnli")

随后可用该流水线将文本序列分类到指定类别：

sequence_to_classify = '为了阻止疫情蔓延，重要的是每个人都来接种疫苗。'
candidate_labels = ['健康', '体育', '疫苗','枪支']
hypothesis_template = '这个例子是关于{}的。'
classifier(sequence_to_classify, candidate_labels, hypothesis_template=hypothesis_template, multi_class=True)

训练过程

该模型基于40万条规模的MNLI任务进行微调。

参考文献

@article{muller2020covid,
  title={COVID-Twitter-BERT: 用于分析推特上COVID-19内容的自然语言处理模型},
  author={M{\"u}ller, Martin and Salath{\'e}, Marcel and Kummervold, Per E},
  journal={arXiv预印本 arXiv:2005.07503},
  year={2020}
}

或

Martin Müller, Marcel Salathé 和 Per E. Kummervold.
COVID-Twitter-BERT: 用于分析推特上COVID-19内容的自然语言处理模型.
arXiv预印本 arXiv:2005.07503 (2020).