许可证：cc-by-sa-4.0
语言：

• 日语
  库名称：transformers
  数据集：
• 维基百科

日本语BART大模型卡片

模型描述

这是一个基于日语维基百科预训练的日本语BART大模型。

使用方法

可按如下方式使用该模型：

from transformers import AutoTokenizer, MBartForConditionalGeneration  
tokenizer = AutoTokenizer.from_pretrained('ku-nlp/bart-large-japanese')  
model = MBartForConditionalGeneration.from_pretrained('ku-nlp/bart-large-japanese')  
sentence = '京都 大学 で 自然 言語 処理 を 専攻 する 。'  # 输入文本需预先通过Juman++进行分词  
encoding = tokenizer(sentence, return_tensors='pt')  
...  

您可以在下游任务中对本模型进行微调。

分词处理

输入文本需预先通过Juman++进行分词。预训练使用的是Juman++ 2.0.0-rc3版本。每个词语会通过sentencepiece进一步拆分为子词。

训练数据

预训练使用了以下语料库：

• 日语维基百科（1800万条句子）

训练流程

我们首先使用Juman++将语料库中的文本分词。
接着，基于JumanDIC的词汇和sentencepiece的unigram语言模型生成的子词，构建了一个包含32000个标记的sentencepiece模型。

使用该sentencepiece模型将分词后的语料库转换为子词，并利用fairseq库训练日本语BART模型。
训练耗时约1个月，使用了4块Tesla V100 GPU。

预训练过程中使用的超参数如下：

• 分布式类型：多GPU
• 设备数量：4
• 批量大小：512
• 训练步数：250,000
• 编码器层数：12
• 解码器层数：12
• 隐藏层维度：1024