许可证：apache-2.0
标签：

• 训练生成
  数据集：
• mlsum
  评估指标：
• rouge
  基础模型：google/mt5-base
  模型索引：
• 名称：mt5-base-turkish-sum
  结果：
  • 任务：
    类型：文本摘要
    名称：Summarization
    数据集：
    名称：mlsum tu
    类型：mlsum
    参数：tu
    评估指标：
    • 类型：rouge
      值：47.4222
      名称：Rouge1

Mukayese：土耳其NLP的反击

文本摘要模型：mukayese/mbart-large-turkish-sum

该模型是基于google/mt5-base在mlsum/tu数据集上微调的版本。

在评估集上取得了以下结果：

• Rouge1：47.4222
• Rouge2：34.8624
• Rougel：42.2487
• Rougelsum：43.9494

关于模型和数据集的更多细节，请参阅此论文。

训练超参数

训练过程中使用的超参数如下：

• 学习率：0.0005
• 训练批次大小：2
• 评估批次大小：4
• 随机种子：42
• 分布式类型：多GPU
• 设备数量：8
• 梯度累积步数：4
• 总训练批次大小：64
• 总评估批次大小：32
• 优化器：Adam，参数betas=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型：线性
• 训练轮数：10.0
• 标签平滑因子：0.1

框架版本

• Transformers 4.11.3
• Pytorch 1.8.2+cu111
• Datasets 1.14.0
• Tokenizers 0.10.3

引用

@misc{safaya-etal-2022-mukayese,
    title={Mukayese: Turkish NLP Strikes Back},
    author={Ali Safaya and Emirhan Kurtuluş and Arda Göktoğan and Deniz Yuret},
    year={2022},
    eprint={2203.01215},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}