language: zh tags:

• 摘要生成
• 新闻 inference: false

KoT5新闻摘要模型

• 本模型基于lcw99/t5-base-korean-text-summary，并在daekeun-ml/naver-news-summarization-ko数据集上进行了微调

模型说明

<<2022年10月21日 提交>>

为打造专用于新闻摘要的项目模型，我们在lcw99开发的t5-base-korean-text-summary模型基础上，采用daekeun-ml提供的naver-news-summarization-ko数据集进行了额外微调。

计划后续使用自有新闻数据进行增量训练。 将持续优化以实现更高性能的模型。 感谢关注。

运行环境：

• Google Colab Pro
• CPU：英特尔至强处理器 @ 2.20GHz
• GPU：A100-SXM4-40GB

# Python代码示例
from transformers import AutoTokenizer
from transformers import AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("noahkim/KoT5_news_summarization")
model = AutoModelForSeq2SeqLM.from_pretrained("noahkim/KoT5_news_summarization")

训练超参数

训练过程中使用的超参数配置：

• 学习率：2e-05
• 训练批次大小：8
• 评估批次大小：8
• 随机种子：42
• 优化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 学习率调度器类型：线性
• 训练轮次：4
• 混合精度训练：原生AMP

训练结果

框架版本

• Transformers 4.23.1
• PyTorch 1.12.1+cu113
• Datasets 2.6.1
• Tokenizers 0.13.1