语言: 日语
许可协议: CC-BY-SA-4.0
数据集:

• 维基百科
• CC100
  掩码标记: "[MASK]"
  示例输入:
• 文本: "早稲田大学で自然言語処理を[MASK]する。"

nlp-waseda/roberta-large-japanese-with-auto-jumanpp

模型描述

这是一个基于日语维基百科和CC-100日语部分预训练的日本RoBERTa大型模型。

使用方法

您可以通过以下方式进行掩码语言建模：

from transformers import AutoTokenizer, AutoModelForMaskedLM  
tokenizer = AutoTokenizer.from_pretrained("nlp-waseda/roberta-large-japanese-with-auto-jumanpp")  
model = AutoModelForMaskedLM.from_pretrained("nlp-waseda/roberta-large-japanese-with-auto-jumanpp")  

sentence = '早稲田大学で自然言語処理を[MASK]する。'  
encoding = tokenizer(sentence, return_tensors='pt')  
...  

您可以在下游任务中对这个模型进行微调。

分词

BertJapaneseTokenizer 现在支持对 Juman++ 的自动分词。然而，如果您的数据集很大，可能会花费较长时间，因为 BertJapaneseTokenizer 仍然不支持快速分词。您仍然可以自行进行 Juman++ 分词，并使用旧模型 nlp-waseda/roberta-large-japanese。

预训练使用了 Juman++ 2.0.0-rc3。每个单词通过 sentencepiece 被分词为子词。

词汇表

词汇表包含32000个标记，包括由 JumanDIC 提供的单词和由 sentencepiece 的单字语言模型生成的子词。

训练过程

该模型基于日语维基百科（截至20210920）和CC-100的日语部分进行训练。使用八块NVIDIA A100 GPU耗时两周完成。

预训练使用的超参数如下：

• 学习率: 6e-5
• 每设备训练批次大小: 103
• 分布式类型: 多GPU
• 设备数量: 8
• 梯度累积步数: 5
• 总训练批次大小: 4120
• 最大序列长度: 128
• 优化器: Adam，参数为 betas=(0.9,0.98) 和 epsilon=1e-6
• 学习率调度器类型: 线性
• 训练步数: 670000
• 预热步数: 10000
• 混合精度训练: Native AMP

JGLUE性能

参见 JGLUE基准分数。