语言: 日语
许可证: CC-BY-SA-4.0
数据集:

• 维基百科
• CC100
• OSCAR
  掩码标记: "[MASK]"
  示例输入:
• 文本: "[MASK] 大学 で 自然 言語 処理 を 学ぶ 。"

nlp-waseda/bigbird-base-japanese

模型描述

这是一个基于日语维基百科、CC-100日语部分和OSCAR日语部分预训练的日语BigBird基础模型。

使用方法

您可以通过以下方式进行掩码语言建模：

from transformers import AutoTokenizer, AutoModelForMaskedLM  
tokenizer = AutoTokenizer.from_pretrained("nlp-waseda/bigbird-base-japanese")  
model = AutoModelForMaskedLM.from_pretrained("nlp-waseda/bigbird-base-japanese")  

sentence = '[MASK] 大学 で 自然 言語 処理 を 学ぶ 。' # 输入需预先使用Juman++进行分词  
encoding = tokenizer(sentence, return_tensors='pt')  
...  

您可以在下游任务上微调此模型。

分词

输入文本需预先使用Juman++进行分词。预训练时使用的是Juman++ 2.0.0-rc3版本。每个词通过sentencepiece进一步切分为子词。

词汇表

词汇表包含32000个标记，包括由JumanDIC提供的词汇以及通过sentencepiece的单字语言模型生成的子词。

训练过程

该模型基于日语维基百科（截至20221101）、CC-100日语部分和OSCAR日语部分进行训练。使用16块NVIDIA A100 GPU，借助transformers和DeepSpeed耗时两周完成。

预训练超参数如下：

• 学习率: 1e-4
• 单设备训练批次大小: 6
• 梯度累积步数: 2
• 总训练批次大小: 192
• 最大序列长度: 4096
• 训练步数: 600000
• 预热步数: 6000
• bf16: 启用
• deepspeed配置: ds_config.json

JGLUE性能表现

我们对以下模型进行了微调，并在JGLUE开发集上进行了评估。根据JGLUE论文，我们为每个模型和任务调整了学习率和训练轮数。

对于MARC-ja以外的任务，由于最大长度较短，因此将attention_type设置为"original_full"进行微调。对于MARC-ja，同时使用了"block_sparse"和"original_full"。

致谢

本工作得到了AI Bridging Cloud Infrastructure (ABCI)的支持，作为2022年第三届ABCI Grand Challenge项目"构建处理长序列的日语大规模通用语言模型"的一部分。