BERT基础日语版（IPA词典）

这是一个基于日语文本预训练的BERT模型。

该版本模型采用IPA词典进行词语级分词处理，随后进行WordPiece子词切分。

预训练代码详见cl-tohoku/bert-japanese。

模型架构

模型架构与原始BERT基础版相同：12个隐藏层，768维隐藏状态，12个注意力头。

训练数据

模型基于2019年9月1日的日文维基百科语料训练。使用WikiExtractor从维基百科文章转储文件中提取纯文本。训练文本文件总大小2.6GB，包含约1700万语句。

分词处理

文本首先通过MeCab形态分析器配合IPA词典进行分词，随后通过WordPiece算法划分子词。词表规模为32000词。

训练配置

训练参数与原始BERT保持一致：每个实例512个token，每批次256个实例，总训练步数100万步。

许可协议

预训练模型遵循知识共享署名-相同方式共享3.0协议发布。

致谢

模型训练使用了TensorFlow研究云计划提供的Cloud TPU计算资源。