语言:

• 日语 许可证: apache-2.0 标签:
• 摘要生成
• 训练生成
• mt5 评估指标:
• rouge 示例输入:
• 文本: 全球约有120种疫苗正在研发中。英国牛津大学的专家们已开始临床试验。新方法 许多传统疫苗基于弱化或修饰的病毒。但本次疫苗采用全新方法，使用基因RNA（核糖核酸）。肌肉注射后，RNA会自我复制，并指示体内细胞制造新冠病毒表面突刺蛋白的副本。通过这种方式，可以在不引发COVID-19的情况下训练免疫系统识别并对抗新冠病毒。沙托克教授表示："我们从零开始研制疫苗，仅用数月就进入了临床试验阶段。"
• 文本: 卡塔尔世界杯足球赛，世界排名第24位、E组的日本队在23日小组赛首战中，对阵世界排名第11位、曾四度夺冠的德国队。比赛上半场完全由德国队主导，但下半场日本队主教练森保一积极调遣进攻球员扭转局势。最终日本队虽上半场失1球，但替补上场的堂安律和浅野拓磨在下半场各进一球，以2比1逆转获胜。森保教练对比赛节奏的把握功不可没。

基础模型: google/mt5-small 模型索引:

• 名称: mt5_summarize_japanese 结果: []

mt5_summarize_japanese

(日语说明: 日本語要約モデル)

该模型是基于google/mt5-small微调的日语摘要生成模型。

本模型在BBC新闻文章(XL-Sum日语数据集)上微调，其中首句(标题句)作为摘要，其余部分作为正文。
因此，请将新闻故事(包括事件、背景、结果和评论等)作为推理组件的输入文本。(其他语料——如对话、商业文档、学术论文或短篇故事——不在训练集中。)

在评估集上取得以下结果:

• 损失值: 1.8952
• Rouge1: 0.4625
• Rouge2: 0.2866
• Rougel: 0.3656
• Rougelsum: 0.3868

使用方式

from transformers import pipeline

seq2seq = pipeline("summarization", model="tsmatz/mt5_summarize_japanese")
sample_text = "卡塔尔世界杯足球赛，世界排名第24位、E组的日本队在23日小组赛首战中，对阵世界排名第11位、曾四度夺冠的德国队。比赛上半场完全由德国队主导，但下半场日本队主教练森保一积极调遣进攻球员扭转局势。最终日本队虽上半场失1球，但替补上场的堂安律和浅野拓磨在下半场各进一球，以2比1逆转获胜。森保教练对比赛节奏的把握功不可没。"
result = seq2seq(sample_text)
print(result)

训练过程

微调源代码可从此处下载。

训练超参数

训练使用的超参数:

• 学习率: 0.0005
• 训练批次大小: 2
• 评估批次大小: 1
• 随机种子: 42
• 梯度累积步数: 16
• 总训练批次大小: 32
• 优化器: 带betas=(0.9,0.999)和epsilon=1e-08的Adam
• 学习率调度器类型: 线性
• 学习率预热步数: 90
• 训练轮次: 10

训练结果

框架版本

• Transformers 4.23.1
• Pytorch 1.12.1+cu102
• Datasets 2.6.1
• Tokenizers 0.13.1