许可证：cc-by-sa-4.0
语言：

• 日语
  库名称：transformers
  数据集：
• 维基百科

日语BART基础模型卡片

模型描述

这是一个基于日语维基百科预训练的日语BART基础模型。

使用方法

您可以按以下方式使用该模型：

from transformers import AutoTokenizer, MBartForConditionalGeneration  
tokenizer = AutoTokenizer.from_pretrained('ku-nlp/bart-base-japanese')  
model = MBartForConditionalGeneration.from_pretrained('ku-nlp/bart-base-japanese')  
sentence = '京都 大学 で 自然 言語 処理 を 専攻 する 。'  # 输入需预先通过Juman++分词  
encoding = tokenizer(sentence, return_tensors='pt')  
...  

您可以在下游任务中对本模型进行微调。

分词说明

输入文本需预先通过Juman++进行分词。预训练使用的是Juman++ 2.0.0-rc3版本。每个词会通过sentencepiece进一步拆分为子词。

训练数据

预训练使用了以下语料库：

• 日语维基百科（1800万句）

训练流程

我们首先使用Juman++将语料文本分词，随后构建了一个包含32000个标记的sentencepiece模型，这些标记由JumanDIC词汇和sentencepiece的unigram语言模型生成的子词组成。

使用该sentencepiece模型将分词后的语料转换为子词，并利用fairseq库训练日语BART模型。训练在4块Tesla V100 GPU上进行了2周。

预训练采用的超参数如下：

• 分布式类型：多GPU
• 设备数量：4
• 批量大小：512
• 训练步数：500,000
• 编码器层数：6
• 解码器层数：6
• 隐藏层维度：768