plT5大型模型

plT5是基于T5架构、针对波兰语语料训练的语言模型。这些模型专为原始T5去噪任务进行了优化。

语料库

plT5训练使用了六种不同的波兰语语料资源：

分词器

训练数据通过sentencepiece一元模型被切分为子词单元，词汇表规模为5万词元。

使用示例

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("allegro/plt5-large")
model = AutoModel.from_pretrained("allegro/plt5-large")

许可协议

CC BY 4.0

引用文献

若使用本模型，请引用以下论文：

@article{chrabrowa2022evaluation,
  title={Evaluation of Transfer Learning for Polish with a Text-to-Text Model},
  author={Chrabrowa, Aleksandra and Dragan, {\L}ukasz and Grzegorczyk, Karol and Kajtoch, Dariusz and Koszowski, Miko{\l}aj and Mroczkowski, Robert and Rybak, Piotr},
  journal={arXiv preprint arXiv:2205.08808},
  year={2022}
}

研发团队

本模型由Allegro机器学习研究团队与波兰科学院计算机研究所语言工程组联合训练。

联系方式：klejbenchmark@allegro.pl