语言: 日语
许可证: CC-BY-SA-4.0
数据集:

• 维基百科
• CC100
  掩码标记: "[MASK]"
  示例输入:
• 文本: "早稲田 大学 で 自然 言語 処理 を [MASK] する 。"

nlp-waseda/roberta-base-japanese

模型描述

这是一个基于日语RoBERTa的预训练模型，训练数据包括日语维基百科和CC-100的日语部分。

使用方法

您可以通过以下方式进行掩码语言建模：

from transformers import AutoTokenizer, AutoModelForMaskedLM  
tokenizer = AutoTokenizer.from_pretrained("nlp-waseda/roberta-base-japanese")  
model = AutoModelForMaskedLM.from_pretrained("nlp-waseda/roberta-base-japanese")  

sentence = '早稲田 大学 で 自然 言語 処理 を [MASK] する 。' # 输入应事先通过Juman++分词  
encoding = tokenizer(sentence, return_tensors='pt')  
...  

您可以在下游任务上微调此模型。

分词

输入文本应事先通过Juman++进行分词。预训练使用的是Juman++ 2.0.0-rc3版本。每个词通过sentencepiece进一步拆分为子词。

BertJapaneseTokenizer现在支持自动的JumanppTokenizer和SentencepieceTokenizer。您可以使用此模型而无需任何数据预处理。

词汇表

词汇表包含32000个标记，包括由JumanDIC提供的词以及通过sentencepiece的一元语言模型生成的子词。

训练过程

该模型在日语维基百科（截至20210920）和CC-100的日语部分上进行训练。训练耗时一周，使用了八块NVIDIA A100 GPU。

预训练使用的超参数如下：

• 学习率: 1e-4
• 每设备训练批次大小: 256
• 分布式类型: 多GPU
• 设备数量: 8
• 梯度累积步数: 2
• 总训练批次大小: 4096
• 最大序列长度: 128
• 优化器: Adam，参数为betas=(0.9,0.999)和epsilon=1e-08
• 学习率调度器类型: 线性
• 训练步数: 700000
• 预热步数: 10000
• 混合精度训练: Native AMP

JGLUE性能

参见JGLUE基准分数。