数据集:

• batubayk/TR-News
• denizzhansahin/100K-TR-News 语言:
• tr 基础模型:
• google/mt5-base 任务标签: 文本摘要 库名称: transformers 标签:
• 文本摘要
• transformers 评估指标:
• bertscore
• rouge

基于mT5的土耳其语新闻摘要模型

模型概述

本模型基于mT5架构，专门针对土耳其语新闻文本摘要任务进行了微调。模型在Google/mT5-base架构基础上，使用土耳其语经济与时事新闻数据集训练而成，旨在生成新闻文本的核心内容摘要。

模型用途

主要功能是将长篇土耳其语新闻压缩为简明摘要，典型应用场景包括：

• 新闻摘要聚合平台

使用方法

from transformers import MT5Tokenizer, MT5ForConditionalGeneration

# 加载模型和分词器
model_name = 'nebiberke/news-sum-tr'
tokenizer = MT5Tokenizer.from_pretrained(model_name)
model = MT5ForConditionalGeneration.from_pretrained(model_name)

# 生成新闻摘要
news_text = "此处输入土耳其语新闻正文"
input_ids = tokenizer.encode(news_text, return_tensors="pt", max_length=512, truncation=True)

# 生成摘要
summary_ids = model.generate(input_ids, max_length=150, min_length=30, length_penalty=2.0, num_beams=7, early_stopping=True)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)

print("摘要:", summary)

训练数据

模型训练数据整合自batubayk/TR-News和denizzhansahin/100K-TR-News数据集，包含土耳其语经济及时事新闻及其对应摘要。

• 数据划分：80%训练集，20%测试集
• 最大输入长度：512个token
• 最大输出长度：150个token

训练参数

• 模型架构：MT5-base
• 训练目标：序列到序列摘要
• 批大小：4
• 训练轮次：6
• 权重衰减：0.01
• 学习率：5e-5
• 评估策略：每轮结束后评估
• 日志记录：每轮训练后记录
• 硬件：CUDA加速GPU

训练损失

• 首轮损失：训练集0.6440 / 验证集0.5474
• 末轮损失：训练集0.4879 / 验证集0.4721

评估结果

采用ROUGE和BERTScore指标进行评估：

ROUGE得分

• ROUGE-1：精确率0.4231 / 召回率0.5000 / F1值0.4583
• ROUGE-2：精确率0.2400 / 召回率0.2857 / F1值0.2609
• ROUGE-L：精确率0.4231 / 召回率0.5000 / F1值0.4583

BERTScore

• 精确率：0.9031
• 召回率：0.9196
• F1值：0.9113

局限性

• 可能继承训练数据中的偏见
• 处理超长复杂新闻时摘要质量可能下降

引用规范

@article{2024turkishsummarization,
  title={基于mT5的土耳其语新闻摘要模型},
  author={内比·伯克·伊乔兹},
  year={2024},
  url={https://huggingface.co/nebiberke/news-sum-tr}
}