BERT基础日语版（使用IPA词典，支持全词掩码）

这是一个基于日语文本预训练的BERT模型。

该版本模型采用基于IPA词典的词语级分词处理输入文本，随后进行WordPiece子词切分。此外，模型训练时启用了全词掩码机制来完成掩码语言建模（MLM）目标。

预训练代码详见cl-tohoku/bert-japanese仓库。

模型架构

模型架构与原始BERT基础版相同：12个隐藏层，768维隐藏状态，12个注意力头。

训练数据

模型基于2019年9月1日的日语维基百科语料训练。使用WikiExtractor工具从维基百科文章转储文件中提取纯文本。训练文本文件总大小2.6GB，包含约1700万句。

分词处理

文本首先通过MeCab日语分词器（使用IPA词典）进行词语切分，再通过WordPiece算法划分子词。词表规模为32000。

训练配置

模型训练参数与原始BERT保持一致：每个实例512个token，每批次256个实例，总训练步数100万步。

在MLM（掩码语言建模）目标训练中，我们采用了全词掩码技术——对应单个词语（由MeCab切分）的所有子词token会被同时掩码。

许可协议

预训练模型遵循知识共享署名-相同方式共享3.0协议发布。

致谢

模型训练使用了TensorFlow研究云计划提供的Cloud TPU计算资源。