🚀 mT5_multilingual_XLSum-sumarizacao-PTBR

该模型是在未知数据集上对 csebuetnlp/mT5_multilingual_XLSum 进行微调后的版本。它在自然语言处理任务中，尤其是文本摘要生成方面具有一定优势，能够帮助用户高效地从长文本中提取关键信息。

🚀 快速开始

以下是使用该模型进行文本摘要生成的示例代码：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

WHITESPACE_HANDLER = lambda k: re.sub('\s+', ' ', re.sub('\n+', ' ', k.strip()))

model_name = "GiordanoB/mT5_multilingual_XLSum-sumarizacao-PTBR"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

    input_ids = tokenizer(
        [WHITESPACE_HANDLER(sumariosDuplos[i])],
        return_tensors="pt",
        padding="max_length",
        truncation=True,
        max_length=512
    )["input_ids"]

    output_ids = model.generate(
        input_ids=input_ids,
        max_length=200,
        min_length=75,
        no_repeat_ngram_size=2,
        num_beams=5
    )[0]

    summary = tokenizer.decode(
        output_ids,
        skip_special_tokens=True,
        clean_up_tokenization_spaces=False
    )

    sumariosFinal.append(summary)
    print(i,"\n",summary,"\n")

💻 使用示例

基础用法

上述代码展示了如何使用该模型进行文本摘要生成的基础用法。通过加载预训练的模型和分词器，对输入文本进行编码，然后使用模型生成摘要，最后将生成的摘要解码输出。

高级用法

在实际应用中，你可以根据具体需求调整 generate 方法的参数，如 max_length、min_length、no_repeat_ngram_size 和 num_beams 等，以获得不同长度和质量的摘要。

📚 详细文档

评估集结果

该模型在评估集上取得了以下结果：

• 损失值（Loss）: 1.3870
• Rouge1: 42.0195
• Rouge2: 24.9493
• Rougel: 32.3653
• Rougelsum: 37.9982
• 生成长度（Gen Len）: 77.0

训练过程

训练超参数

训练过程中使用了以下超参数：

• 学习率（learning_rate）: 2e-05
• 训练批次大小（train_batch_size）: 8
• 评估批次大小（eval_batch_size）: 8
• 随机种子（seed）: 42
• 优化器（optimizer）: Adam，其中 betas=(0.9, 0.999)，epsilon=1e-08
• 学习率调度器类型（lr_scheduler_type）: 线性
• 训练轮数（num_epochs）: 5

训练结果

框架版本

• Transformers 4.18.0
• Pytorch 1.11.0
• Datasets 2.1.0
• Tokenizers 0.12.1