数据集:

• allenai/c4
• legacy-datasets/mc4 语言:
• 葡萄牙语(pt) 任务标签: 文本生成(text2text-generation) 基础模型: google-t5/t5-small 许可证: apache-2.0

ptt5-v2-small 葡萄牙语预训练模型

简介

ptt5-v2系列模型是专为葡萄牙语优化的预训练T5模型，基于谷歌原版t5-small至t5-3B的检查点继续训练。这些检查点被用于训练葡萄牙语MonoT5重排序器，相关模型可在HuggingFace集合获取。关于预训练过程的详细信息，请参阅我们的论文《ptt5-v2：葡萄牙语T5模型持续预训练的深入探究》。

使用方式

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("unicamp-dl/ptt5-v2-small")
model = T5ForConditionalGeneration.from_pretrained("unicamp-dl/ptt5-v2-small")

引用规范

若使用本模型，请引用：

@misc{piau2024ptt5v2,
      title={ptt5-v2：葡萄牙语T5模型持续预训练的深入探究}, 
      author={Marcos Piau and Roberto Lotufo and Rodrigo Nogueira},
      year={2024},
      eprint={2406.10806},
      archivePrefix={arXiv},
      primaryClass={id='cs.CL' 全称='计算与语言' 活跃状态=True 别名='cmp-lg' 所属存档='cs' 非通用=False 说明='涵盖自然语言处理领域。大致对应ACM学科分类I.2.7。注意：若人工语言研究（编程语言、逻辑、形式系统）未明确涉及广义自然语言问题（自然语言处理、计算语言学、语音、文本检索等），则不属于本领域范畴。'}
}