t5-base-japanese-web（支持字节回退，32K词表）

模型描述

megagonlabs/t5-base-japanese-web 是基于日语网络文本预训练的T5（文本到文本转换 Transformer）模型。
训练代码已发布于 GitHub仓库。

该模型采用32K词表规模，同时提供8K词表版本。

训练语料

预训练使用以下语料库：

• mC4/3.0.1 日语部分（采用TensorFlow原生格式）
  • 87,425,304个页面
  • TFRecord格式782GB
• wiki40b/1.3.0 中的日语维基
  • 828,236篇文章（2,073,584个样本）
  • TFRecord格式2GB

分词器

使用日语维基百科训练SentencePiece：

• 词表规模：32,000
• 字节回退：启用

参数配置

• T5模型结构：models/t5.1.1.base.gin
• 训练步数：1,000,000步

在TPU v3-8上训练耗时约126小时

相关模型

• 日语T5预训练模型 (sonoisa/t5-base-japanese)
• 日语T5预训练模型 (sonoisa/t5-base-japanese-mC4-Wikipedia)

许可协议

Apache 2.0许可证

引用文献

• mC4

包含mC4数据集内容，该数据集采用ODC署名许可授权。

@article{2019t5,
    author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
    title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
    journal = {arXiv e-prints},
    year = {2019},
    archivePrefix = {arXiv},
    eprint = {1910.10683},
}

• wiki40b

@inproceedings{49029,
title = {Wiki-40B: Multilingual Language Model Dataset},
author = {Mandy Guo and Zihang Dai and Denny Vrandecic and Rami Al-Rfou},
year = {2020},
booktitle   = {LREC 2020}
}