数据集:

• mlsum 评估指标:
• rouge 模型索引:
• 名称: mukayese/transformer-turkish-summarization 结果:
  • 任务: 名称: 摘要生成 类型: summarization 数据集: 名称: mlsum tu 类型: mlsum 参数: tu 指标:
    • 名称: Rouge1 类型: rouge 值: 43.2049 许可证: mit 语言:
• tr 管道标签: summarization

Mukayese：土耳其语NLP反击战

摘要生成: mukayese/transformer-turkish-summarization

该模型不区分大小写，它是从头开始初始化的，仅使用mlsum/tu数据集进行训练，没有进行预训练。

在评估集上取得了以下结果:

• Rouge1: 43.2049
• Rouge2: 30.7082
• Rougel: 38.1981
• Rougelsum: 39.9453

有关模型和数据集的更多详情，请参阅此论文。

训练过程

训练超参数

训练过程中使用了以下超参数:

• 学习率: 0.0001
• 训练批次大小: 4
• 评估批次大小: 8
• 随机种子: 42
• 分布式类型: 多GPU
• 设备数量: 8
• 梯度累积步数: 2
• 总训练批次大小: 64
• 总评估批次大小: 64
• 优化器: Adam，参数betas=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型: linear
• 训练轮数: 15.0
• 混合精度训练: Native AMP
• 标签平滑因子: 0.1

框架版本

• Transformers 4.11.3
• Pytorch 1.8.2+cu111
• Datasets 1.14.0
• Tokenizers 0.10.3

引用

@misc{safaya-etal-2022-mukayese,
    title={Mukayese：土耳其语NLP反击战},
    author={Ali Safaya and Emirhan Kurtuluş and Arda Göktoğan and Deniz Yuret},
    year={2022},
    eprint={2203.01215},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}