language: pt license: mit tags:

• t5
• pytorch
• tensorflow
• pt
• pt-br datasets:
• brWaC widget:
• text: "葡萄牙语示例文本" inference: false

葡萄牙语T5模型（简称"PTT5"）

简介

PTT5是基于BrWac语料库预训练的T5模型，该语料库是一个大型葡萄牙语网页集合，可提升T5模型在葡萄牙语句子相似性和蕴含任务上的表现。模型提供三种规格（小型、基础型和大型）及两种词表（谷歌原版T5词表和基于葡萄牙语维基百科训练的自定义词表）。

更多信息或需求请访问PTT5项目仓库。

可用模型

使用方法

# 分词器 
from transformers import T5Tokenizer

# PyTorch（基础模型/带语言建模头）
from transformers import T5Model, T5ForConditionalGeneration

# Tensorflow（基础模型/带语言建模头）
from transformers import TFT5Model, TFT5ForConditionalGeneration

model_name = 'unicamp-dl/ptt5-base-portuguese-vocab'

tokenizer = T5Tokenizer.from_pretrained(model_name)

# PyTorch版本
model_pt = T5ForConditionalGeneration.from_pretrained(model_name)

# TensorFlow版本
model_tf = TFT5ForConditionalGeneration.from_pretrained(model_name)

引用文献

若使用PTT5，请引用：

@article{ptt5_2020,
  title={PTT5：基于巴西葡萄牙语数据的T5模型预训练与验证},
  author={Carmo, Diedre and Piau, Marcos and Campiotti, Israel and Nogueira, Rodrigo and Lotufo, Roberto},
  journal={arXiv预印本 arXiv:2008.09144},
  year={2020}
}