语言: 日语
许可证: cc-by-sa-4.0
数据集:

• 维基百科
• cc100
  掩码标记: "[MASK]"
  示例输入:
• 文本: "早稲田 大学 で 自然 言語 処理 を [MASK] する 。"

nlp-waseda/roberta-large-japanese

模型描述

这是一个基于日语维基百科和CC-100日语部分预训练的大型日语RoBERTa模型。

使用方法

您可以通过以下方式进行掩码语言建模：

from transformers import AutoTokenizer, AutoModelForMaskedLM  
tokenizer = AutoTokenizer.from_pretrained("nlp-waseda/roberta-large-japanese")  
model = AutoModelForMaskedLM.from_pretrained("nlp-waseda/roberta-large-japanese")  

sentence = '早稲田 大学 で 自然 言語 処理 を [MASK] する 。' # 输入文本需预先使用Juman++进行分词  
encoding = tokenizer(sentence, return_tensors='pt')  
...  

您可以在下游任务中对这个模型进行微调。

分词处理

输入文本应预先使用Juman++进行分词。预训练使用的是Juman++ 2.0.0-rc3版本。每个词通过sentencepiece进一步拆分为子词。

BertJapaneseTokenizer现在支持自动调用JumanppTokenizer和SentencepieceTokenizer。您可以使用这个模型而无需任何数据预处理。

词汇表

词汇表包含32000个标记，包括由JumanDIC提供的词汇以及通过sentencepiece的一元语言模型生成的子词。

训练过程

该模型基于日语维基百科（截至20210920）和CC-100的日语部分进行训练。训练耗时两周，使用了八块NVIDIA A100 GPU。

预训练使用的超参数如下：

• 学习率: 6e-5
• 每设备训练批次大小: 103
• 分布式类型: 多GPU
• 设备数量: 8
• 梯度累积步数: 5
• 总训练批次大小: 4120
• 最大序列长度: 128
• 优化器: Adam，参数为betas=(0.9,0.98)和epsilon=1e-6
• 学习率调度器类型: 线性
• 训练步数: 670000
• 预热步数: 10000
• 混合精度训练: Native AMP

在JGLUE上的表现

参见JGLUE的基准分数。