语言:

• 意大利语 标签:
• 摘要生成 数据集:
• ARTeLab/fanpage 评估指标:
• rouge 基础模型: facebook/mbart-large-cc25 模型索引:
• 名称: summarization_mbart_fanpage4epoch 结果: []

mbart-摘要生成-fanpage

该模型是基于facebook/mbart-large-cc25在Fanpage数据集上进行微调，用于抽象摘要生成。

其取得如下结果:

• 损失值: 2.1833
• Rouge1分数: 36.5027
• Rouge2分数: 17.4428
• Rougel分数: 26.1734
• Rougelsum分数: 30.2636
• 生成长度: 75.2413

使用方法

from transformers import MBartTokenizer, MBartForConditionalGeneration
tokenizer = MBartTokenizer.from_pretrained("ARTeLab/mbart-summarization-fanpage")
model = MBartForConditionalGeneration.from_pretrained("ARTeLab/mbart-summarization-fanpage")

训练超参数

训练过程中使用以下超参数:

• 学习率: 5e-05
• 训练批次大小: 1
• 评估批次大小: 1
• 随机种子: 42
• 优化器: Adam (β1=0.9, β2=0.999, ε=1e-08)
• 学习率调度器类型: 线性
• 训练轮数: 4.0

框架版本

• Transformers 4.15.0.dev0
• Pytorch 1.10.0+cu102
• Datasets 1.15.1
• Tokenizers 0.10.3

引用文献

更多细节和结果详见已发表论文

@Article{info13050228,
    作者 = {Landro, Nicola and Gallo, Ignazio and La Grassa, Riccardo and Federici, Edoardo},
    标题 = {意大利语抽象文本摘要的两个新数据集},
    期刊 = {Information},
    卷号 = {13},
    年份 = {2022},
    期号 = {5},
    文章编号 = {228},
    网址 = {https://www.mdpi.com/2078-2489/13/5/228},
    ISSN = {2078-2489},
    摘要 = {文本摘要旨在从给定文本中生成包含关键内容的简短摘要。针对意大利语等低资源语言缺乏抽象摘要数据的问题，我们提出了两个原创数据集：一个采集自意大利新闻网站的多句摘要及对应文章，另一个通过机器翻译西班牙语摘要数据集获得。这两个数据集是目前意大利语领域仅有的可用资源。为评估数据集质量，我们使用T5-base和mBART模型进行训练，均取得良好效果。通过与自动翻译数据集训练结果的对比实验，证明本研究所提数据集训练的模型具有更优表现。},
    DOI = {10.3390/info13050228}
}