数据集:

• midas/krapivin
• midas/inspec
• midas/kptimes
• midas/duc2001 语言:
• 英语

微调示例:

• 文本: "相关性传统上与特征子集选择相关联，但尚未尝试对这种关联进行形式化。在本文中，我们提出了特征子集选择的两个公理——充分性公理和必要性公理，基于这两个公理，我们形式化了这种关联：期望的特征子集是能够最大化相关性的子集。寻找期望的特征子集被证明是NP难问题。随后我们设计了一种启发式算法来寻找期望的子集，该算法具有多项式时间复杂度。实验结果表明，该算法能够找到足够好的特征子集，当将这些特征子集输入C4.5时，能够获得更好的预测准确率。"
• 文本: "在本文中，我们研究了使用抽象文本摘要模型进行关键词生成时的跨领域局限性。我们对BART模型在三种类型文本（即计算机科学和生物医学领域的科学文本以及新闻文本）上进行关键词生成的微调效果进行了评估。我们探讨了不同领域间迁移学习对提升模型在小规模文本语料上性能的作用。"

用于关键词生成的微调BART模型

这是基于bart-base (Lewis等人，2019) 模型，针对关键词生成任务 (Glazkova & Morozov, 2023) 在以下语料库片段上进行微调的模型：

• Krapivin (Krapivin等人，2009)
• Inspec (Hulth, 2003)
• KPTimes (Gallina, 2019)
• DUC-2001 (Wan, 2008)
• PubMed (Schutz, 2008)
• NamedKeys (Gero & Ho, 2019)

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("aglazkova/bart_finetuned_keyphrase_extraction")
model = AutoModelForSeq2SeqLM.from_pretrained("aglazkova/bart_finetuned_keyphrase_extraction")

text = "在本文中，我们研究了使用抽象文本摘要模型进行关键词生成时的跨领域局限性。\
        我们对BART模型在三种类型文本（即计算机科学和生物医学领域的科学文本以及新闻文本）上进行关键词生成的微调效果进行了评估。\
        我们探讨了不同领域间迁移学习对提升模型在小规模文本语料上性能的作用。"

tokenized_text = tokenizer.prepare_seq2seq_batch([text], return_tensors='pt')
translation = model.generate(**tokenized_text)
translated_text = tokenizer.batch_decode(translation, skip_special_tokens=True)[0]
print(translated_text)

训练超参数

训练过程中使用了以下超参数：

• 学习率: 4e-5
• 训练批次大小: 8
• 优化器: AdamW，参数为betas=(0.9,0.999)和epsilon=1e-08
• 训练轮数: 6

BibTeX引用:

@InProceedings{10.1007/978-3-031-67826-4_19,
author="Glazkova, Anna
and Morozov, Dmitry",
title="基于Transformer的关键词生成的跨领域鲁棒性研究",
booktitle="数据密集型领域的数据分析与管理",
year="2024",
publisher="Springer Nature Switzerland",
address="Cham",
pages="249--265"
}