标签:

• 由训练器生成 指标:
• Rouge得分 模型索引:
• 名称: mT5_multilingual_XLSum-sumarizacao-PTBR 结果: []

mT5_multilingual_XLSum-sumarizacao-PTBR

该模型是基于csebuetnlp/mT5_multilingual_XLSum在未知数据集上微调得到的版本。在评估集上取得了以下结果：

• 损失值: 1.3870
• Rouge1得分: 42.0195
• Rouge2得分: 24.9493
• Rougel得分: 32.3653
• Rougelsum得分: 37.9982
• 生成长度: 77.0

看看模型的实际表现！

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

WHITESPACE_HANDLER = lambda k: re.sub('\s+', ' ', re.sub('\n+', ' ', k.strip()))

model_name = "GiordanoB/mT5_multilingual_XLSum-sumarizacao-PTBR"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

    input_ids = tokenizer(
        [WHITESPACE_HANDLER(sumariosDuplos[i])],
        return_tensors="pt",
        padding="max_length",
        truncation=True,
        max_length=512
    )["input_ids"]

    output_ids = model.generate(
        input_ids=input_ids,
        max_length=200,
        min_length=75,
        no_repeat_ngram_size=2,
        num_beams=5
    )[0]

    summary = tokenizer.decode(
        output_ids,
        skip_special_tokens=True,
        clean_up_tokenization_spaces=False
    )

    sumariosFinal.append(summary)
    print(i,"\n",summary,"\n")

预期用途与限制

需要更多信息

训练与评估数据

需要更多信息

训练过程

训练超参数

训练过程中使用了以下超参数：

• 学习率: 2e-05
• 训练批次大小: 8
• 评估批次大小: 8
• 随机种子: 42
• 优化器: Adam，参数beta=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型: 线性
• 训练轮数: 5

训练结果

框架版本

• Transformers 4.18.0
• Pytorch 1.11.0
• Datasets 2.1.0
• Tokenizers 0.12.1