数据集:

• allenai/c4
• legacy-datasets/mc4 语言:
• 葡萄牙语 任务标签: 文本生成 基础模型: google-t5/t5-base 许可证: apache-2.0

ptt5-v2-base

简介

ptt5-v2模型是针对葡萄牙语预训练的T5模型系列，基于Google原始检查点（从t5-small到t5-3B）继续训练而成。这些检查点被用于训练葡萄牙语的MonoT5重排序模型，相关模型可在其HuggingFace集合中找到。如需了解预训练过程的更多细节，请参阅我们的论文《ptt5-v2：深入探讨T5模型在葡萄牙语上的持续预训练》。

使用方法

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained("unicamp-dl/ptt5-v2-base")
model = T5ForConditionalGeneration.from_pretrained("unicamp-dl/ptt5-v2-base")

引用

如果您使用了我们的模型，请引用：

@article{piau2024ptt5v2,
      title={ptt5-v2：深入探讨T5模型在葡萄牙语上的持续预训练}, 
      author={Marcos Piau 和 Roberto Lotufo 以及 Rodrigo Nogueira},
      year={2024},
      eprint={2406.10806},
      archivePrefix={arXiv},
      primaryClass={id='cs.CL' full_name='计算与语言学' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='涵盖自然语言处理领域。大致对应ACM主题分类I.2.7。请注意，关于人工语言（编程语言、逻辑、形式系统）的研究若未明确涉及广义的自然语言问题（自然语言处理、计算语言学、语音、文本检索等），则不属于本领域范畴。'}
}