license: apache-2.0
tags:

• generated_from_trainer
• summarization
  metrics:
• rouge
  model-index:
• name: arxiv27k-t5-abst-title-gen/
  results: []

arxiv27k-t5-abst-title-gen/

该模型是基于mt5-small在arxiv论文摘要-标题数据集上微调的版本。
在评估集上取得了以下结果：

• 损失值：1.6002
• Rouge1分数：32.8
• Rouge2分数：21.9
• Rougel分数：34.8

模型描述

该模型使用Colab Pro笔记本训练了4小时完成。

预期用途与限制

可用于根据给定摘要生成期刊标题

训练参数

model_args = T5Args()
model_args.max_seq_length = 256
model_args.train_batch_size = 8
model_args.eval_batch_size = 8
model_args.num_train_epochs = 6
model_args.evaluate_during_training = False
model_args.use_multiprocessing = False
model_args.fp16 = False
model_args.save_steps = 40000
model_args.save_eval_checkpoints = False
model_args.save_model_every_epoch = True
model_args.output_dir = OUTPUT_DIR
model_args.no_cache = True
model_args.reprocess_input_data = True
model_args.overwrite_output_dir = True
model_args.num_return_sequences = 1

框架版本

• Transformers 4.12.5
• Pytorch 1.10.0+cu111
• Datasets 1.15.1
• Tokenizers 0.10.3

联系方式

detasar@gmail.com
Davut Emre Taşar