语言: 日语
标签:

• T5
• 文本到文本生成
• 序列到序列
  许可证: CC-BY-SA 4.0
  数据集:
• 维基百科
• OSCAR
• CC100

日语T5预训练模型

这是一个基于日语语料库预训练的T5（文本到文本转换Transformer）模型。

使用了以下日语语料库（约100GB）进行预训练：

• 维基百科的日语转储数据（截至2020年7月6日）
• OSCAR的日语语料库
• CC-100的日语语料库

该模型仅进行了预训练，若需用于特定任务，需进行微调。
本模型同样存在大型语料库语言模型的潜在问题，即可能因训练数据内容偏差而产生带有偏见（不符合伦理、有害或存在偏见）的输出结果。
请在使用时充分考虑这一风险，确保仅用于不会造成危害的用途。

SentencePiece分词器的训练使用了上述维基百科的全部数据。

迁移学习示例代码

https://github.com/sonoisa/t5-japanese

基准测试

livedoor新闻分类任务

使用livedoor新闻语料库进行新闻文章类型预测任务的准确率如下：
与谷歌多语言T5模型相比，本模型体积缩小25%，准确率高出约6个百分点。

日语T5 (t5-base-japanese, 参数数量222M, 复现代码)

对比模型: 多语言T5 (google/mt5-small, 参数数量300M)

JGLUE基准测试

JGLUE基准测试结果如下（逐步更新）：

• MARC-ja: 准备中
• JSTS: 准备中
• JNLI: 准备中
• JSQuAD: EM=0.900, F1=0.945, 复现代码
• JCommonsenseQA: 准备中

免责声明

本模型作者在创建本模型时已尽最大努力确保其内容和功能的准确性，但对模型输出的准确性、安全性等不作任何保证，也不承担任何责任。即使因使用本模型导致用户遭受任何不便或损害，模型或数据集的作者及其所属组织也不承担任何责任。用户有义务明确知晓并同意作者及其组织不承担任何责任。

许可证

CC-BY-SA 4.0

使用时请同时遵守Common Crawl的使用条款。