语言: 日语
许可证: CC-BY-SA-4.0
数据集:

• 维基百科
  示例输入:
• 文本: "在东北大学从事[MASK]的研究工作。"

日语BERT基础模型（基于Unidic-lite整词掩码，jawiki-20200831语料）

本模型是基于日语文本预训练的BERT模型。

该版本模型采用Unidic 2.1.2词典（通过unidic-lite包获取）进行词汇级分词，再结合WordPiece子词切分处理输入文本。此外，模型在掩码语言建模（MLM）任务中启用了整词掩码训练机制。

预训练代码详见cl-tohoku/bert-japanese仓库。

模型架构

模型架构与原始BERT基础版一致：12层网络结构，768维隐藏状态，12个注意力头。

训练数据

模型训练数据来自日语维基百科，语料基于2020年8月31日的Wikipedia Cirrussearch转储文件生成。

生成的语料文件总计4.0GB，包含约3000万语句。使用MeCab形态解析器配合mecab-ipadic-NEologd词典进行文本分句处理。

分词处理

文本首先通过MeCab+Unidic 2.1.2词典进行分词，再经WordPiece算法切分为子词。词表规模为32768。

分词工具采用fugashi和unidic-lite包。

训练过程

模型训练配置与原始BERT相同：每条实例512个token，每批次256条实例，总训练步数100万步。在MLM任务中采用整词掩码策略——对应同一词汇（经MeCab切分）的所有子词token会同时被掩码。

训练使用TensorFlow Research Cloud项目提供的Cloud TPU v3-8实例，耗时约5天完成。

许可协议

预训练模型遵循知识共享署名-相同方式共享3.0协议分发。

致谢

本模型训练使用了TensorFlow Research Cloud项目提供的Cloud TPU计算资源。