许可证：apache-2.0
数据集：

• rristo/et_parliament_stenos_summary
  语言：
• et
  指标：
• 名称：rouge1
  类型：rouge1
  值：36.1651
  已验证：false
• 名称：rouge2
  类型：rouge2
  值：15.9668
  已验证：false
• 名称：rougeL
  类型：rougeL
  值：28.339
  已验证：false
• 名称：rougeLsum
  类型：rougeLsum
  值：33.767
  已验证：false
  库名称：transformers
  流水线标签：summarization

模型卡片

这是一个爱沙尼亚议会速记摘要模型。该模型基于et_parliament_stenos_summary数据集训练，该数据集包含议会对话/讨论内容。

模型描述

创建此模型的目的是为了实验是否能够简单地训练一个输入序列长度超过1024个标记的爱沙尼亚摘要模型。

• 模型类型： T5
• 语言（NLP）： 爱沙尼亚语
• 微调自模型： agemagician/mlong-t5-tglobal-base。原始模型的词汇表被缩减，仅保留训练数据中出现的标记。
• 最大输入序列（标记）： 2048

用途

直接使用

该模型旨在用于总结爱沙尼亚议会讨论的速记内容。对于其他爱沙尼亚语文本，可能也能提供一定程度的合理准确性。

偏见、风险和限制

原始预训练模型和爱沙尼亚议会数据集（以及用于创建训练数据摘要的GPT-3.5）中可能存在的偏见可能会体现在模型中。尚未进行广泛研究。

建议

如果需要非常准确的结果，请不要使用该模型，因为它可能会遗漏原文中的重要内容或产生幻觉。

如何开始使用该模型

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("rristo/mlong-t5-tglobal-base-et-riigikogu-summary")
model = AutoModelForSeq2SeqLM.from_pretrained("rristo/mlong-t5-tglobal-base-et-riigikogu-summary")

text = """（此处为示例文本）"""

def summarize(text, model, tokenizer, max_new_tokens=512, device='cuda'):
    input_ids = tokenizer(text, return_tensors="pt").input_ids  # 批量大小为1
    outputs = model.generate(input_ids=input_ids.to(device), max_new_tokens=max_new_tokens)
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

DEVICE = 'cuda'
model = model.to(DEVICE)

summarize(text, model, tokenizer, device=DEVICE)

训练详情

训练数据

• et_parliament_stenos_summary

训练过程

训练笔记本可在此处获取：链接
训练过程的解释可在此处找到：链接。

训练超参数

• 训练模式： fp32
• 学习率： 5e-5
• 训练周期数： 12

评估

测试数据、因素和指标

测试数据

测试数据来自et_parliament_stenos_summary的测试集，其中包含训练数据中未出现的速记内容。

指标和结果

• rouge1：36.1651
• rouge2：15.9668
• rougeL：28.339
• rougeLsum：33.767