license: apache-2.0

KeyBART模型

KeyBART模型基于论文《从文本中学习关键短语的丰富表示》（发表于NAACL 2022会议论文集，论文链接：https://aclanthology.org/2022.findings-naacl.67.pdf），采用BART架构进行预训练，以生成符合CatSeqD格式的串联关键短语序列。

我们提供了下游评估设置的示例，并展示了其在零样本设置下用于文本到文本生成的能力。

下游评估

关键短语生成

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("bloomberg/KeyBART")
model = AutoModelForSeq2SeqLM.from_pretrained("bloomberg/KeyBART")

from datasets import load_dataset

dataset = load_dataset("midas/kp20k")

报告结果：

显式关键短语生成

隐式关键短语生成

抽象摘要生成

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("bloomberg/KeyBART")
model = AutoModelForSeq2SeqLM.from_pretrained("bloomberg/KeyBART")

from datasets import load_dataset

dataset = load_dataset("cnn_dailymail")

报告结果：

零样本设置

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("bloomberg/KeyBART")
model = AutoModelForSeq2SeqLM.from_pretrained("bloomberg/KeyBART")

或使用HuggingFace提供的托管推理API控制台：https://huggingface.co/bloomberg/KeyBART

零样本示例输出：

输入：本研究探索如何训练面向特定任务的语言模型，旨在从文本文档中学习关键短语的丰富表示。我们尝试了不同的掩码策略，在判别式和生成式设置下预训练Transformer语言模型（LMs）。在判别式设置中，我们提出了新的预训练目标——带替换的关键短语边界填充（KBIR），当使用KBIR预训练的LM针对关键短语提取任务进行微调时，性能较SOTA有显著提升（F1最高提升9.26分）。在生成式设置中，我们为BART引入了新的预训练设置——KeyBART，它以CatSeq格式生成与输入文本相关的关键短语，而非去噪后的原始输入。这也使得关键短语生成性能较SOTA有所提升（F1@M最高提升4.33分）。此外，我们还对预训练语言模型在命名实体识别（NER）、问答（QA）、关系抽取（RE）、抽象摘要等任务上进行了微调，并取得了与SOTA相当的性能，表明学习关键短语的丰富表示确实有益于许多其他基础NLP任务。

输出：语言模型；关键短语生成；新预训练目标；预训练设置；

引用

请使用以下BibTeX条目引用本工作：

@inproceedings{kulkarni-etal-2022-learning,
    title = "学习文本中关键短语的丰富表示",
    author = "Kulkarni, Mayank  and
      Mahata, Debanjan  and
      Arora, Ravneet  and
      Bhowmik, Rajarshi",
    booktitle = "NAACL 2022计算语言学协会发现集",
    month = "7月",
    year = "2022",
    address = "美国西雅图",
    publisher = "计算语言学协会",
    url = "https://aclanthology.org/2022.findings-naacl.67",
    doi = "10.18653/v1/2022.findings-naacl.67",
    pages = "891--906",
    abstract = "本研究探索如何训练面向特定任务的语言模型，旨在从文本文档中学习关键短语的丰富表示。我们尝试了不同的掩码策略，在判别式和生成式设置下预训练Transformer语言模型（LMs）。在判别式设置中，我们提出了新的预训练目标——带替换的关键短语边界填充（KBIR），当使用KBIR预训练的LM针对关键短语提取任务进行微调时，性能较SOTA有显著提升（F1最高提升8.16分）。在生成式设置中，我们为BART引入了新的预训练设置——KeyBART，它以CatSeq格式生成与输入文本相关的关键短语，而非去噪后的原始输入。这也使得关键短语生成性能较SOTA有所提升（F1@M最高提升4.33分）。此外，我们还对预训练语言模型在命名实体识别（NER）、问答（QA）、关系抽取（RE）、抽象摘要等任务上进行了微调，并取得了与SOTA相当的性能，表明学习关键短语的丰富表示确实有益于许多其他基础NLP任务。",
}

如有任何问题，请联系dmahata@bloomberg.net