BERT基础日语版（字符级分词）

这是一个基于日语文本预训练的BERT模型。

该版本模型采用IPA词典进行词语级分词后，再进行字符级分词处理。

预训练代码详见cl-tohoku/bert-japanese仓库。

模型架构

模型架构与原始BERT基础版一致：12个网络层，768维隐藏状态，12个注意力头。

训练数据

训练数据来自截至2019年9月1日的日语维基百科。使用WikiExtractor工具从维基百科文章转储文件中提取纯文本。训练文本文件总大小2.6GB，包含约1700万句。

分词处理

文本首先通过MeCab形态分析器配合IPA词典进行分词，随后拆分为字符。词表规模为4000。

训练配置

训练参数与原始BERT保持一致：每个实例512个token，每批次256个实例，总训练步数100万次。

许可协议

预训练模型遵循知识共享署名-相同方式共享3.0协议发布。

致谢

模型训练使用了TensorFlow研究云计划提供的Cloud TPU计算资源。