语言：日语
许可证：cc-by-sa-4.0
数据集：

• 维基百科
  示例输入：
• 文本：在东北大学从事[MASK]的研究。

日语BERT大型模型（基于字符级分词与全词掩码，jawiki-20200831版本）

这是基于日语文本预训练的BERT模型。

该版本模型采用Unidic 2.1.2词典（通过unidic-lite包获取）进行词级分词后，再进行字符级分词处理。同时，模型在掩码语言建模（MLM）任务中启用了全词掩码训练。

预训练代码详见cl-tohoku/bert-japanese。

模型架构

模型架构与原始BERT大型模型一致：24层网络结构，1024维隐藏状态，16个注意力头。

训练数据

模型训练数据来源于日语版维基百科，语料基于2020年8月31日的Wikipedia Cirrussearch转储文件生成。

生成的语料文件总计4.0GB，包含约3000万条句子。使用MeCab形态分析器配合mecab-ipadic-NEologd词典进行文本分句处理。

分词方式

文本首先通过MeCab+Unidic 2.1.2词典进行分词，随后拆分为字符。词汇表大小为6144。

分词工具采用fugashi和unidic-lite包。

训练过程

模型训练参数与原始BERT保持一致：每条实例512个token，每批次256条实例，总训练步数100万步。在MLM任务中采用全词掩码策略——对应同一词语（经MeCab分词后）的所有子词token会同时被掩码。

训练使用TensorFlow Research Cloud项目提供的Cloud TPU v3-8实例，耗时约5天完成。

许可协议

预训练模型遵循知识共享署名-相同方式共享3.0协议分发。

致谢

本模型训练由TensorFlow Research Cloud项目提供的Cloud TPU支持完成。