语言: 日语
许可证: CC-BY-SA-4.0
数据集:

• 维基百科
• CC100
  掩码标记: "[MASK]"
  示例输入:
• 文本: "早稲田大学で自然言語処理を[MASK]する。"

nlp-waseda/roberta-base-japanese-with-auto-jumanpp

模型描述

这是一个基于日语RoBERTa的基础模型，预训练数据来自日语维基百科和CC-100的日语部分。

使用方法

您可以通过以下方式进行掩码语言建模：

from transformers import AutoTokenizer, AutoModelForMaskedLM  
tokenizer = AutoTokenizer.from_pretrained("nlp-waseda/roberta-base-japanese-with-auto-jumanpp")  
model = AutoModelForMaskedLM.from_pretrained("nlp-waseda/roberta-base-japanese-with-auto-jumanpp")  

sentence = '早稲田大学で自然言語処理を[MASK]する。'  
encoding = tokenizer(sentence, return_tensors='pt')  
...  

您可以在下游任务上微调此模型。

分词

BertJapaneseTokenizer 现在支持对 Juman++ 的自动分词。然而，如果您的数据集较大，可能会花费较长时间，因为 BertJapaneseTokenizer 目前还不支持快速分词。您仍然可以自行进行 Juman++ 分词，并使用旧模型 nlp-waseda/roberta-base-japanese。

预训练使用了 Juman++ 2.0.0-rc3 版本。每个单词通过 sentencepiece 分词为子词。

词汇表

词汇表包含 32000 个标记，包括由 JumanDIC 提供的单词和由 sentencepiece 的一元语言模型生成的子词。

训练过程

此模型在日语维基百科（截至20210920）和CC-100的日语部分上进行了训练。训练耗时一周，使用了八块NVIDIA A100 GPU。

预训练期间使用的超参数如下：

• 学习率: 1e-4
• 每设备训练批次大小: 256
• 分布式类型: 多GPU
• 设备数量: 8
• 梯度累积步数: 2
• 总训练批次大小: 4096
• 最大序列长度: 128
• 优化器: Adam，参数为 betas=(0.9,0.999) 和 epsilon=1e-08
• 学习率调度器类型: 线性
• 训练步数: 700000
• 预热步数: 10000
• 混合精度训练: Native AMP

在JGLUE上的表现

参见 JGLUE基准分数。