语言: 日语
许可证: CC-BY-SA-4.0
数据集:

• 维基百科
  示例输入:
• 文本: "在东北大学从事[MASK]的研究。"

日语BERT大型模型（基于Unidic-lite全词掩码，jawiki-20200831版本）

此为基于日语文本预训练的BERT模型。

本版本模型采用Unidic 2.1.2词典（通过unidic-lite包获取）进行词汇级分词，再结合WordPiece子词切分处理输入文本。此外，该模型在掩码语言建模（MLM）任务中启用了全词掩码训练。

预训练代码详见cl-tohoku/bert-japanese。

模型架构

模型架构与原始BERT大型模型一致：24层网络结构，1024维隐藏状态，16个注意力头。

训练数据

模型训练数据来源于日语版维基百科，基于2020年8月31日的Wikipedia Cirrussearch转储文件生成。生成的语料库总计4.0GB，包含约3000万语句。文本分句使用MeCab形态分析器配合mecab-ipadic-NEologd词典完成。

分词处理

文本首先通过MeCab+Unidic 2.1.2词典进行分词，再经WordPiece算法切分为子词。词表规模为32768。分词工具采用fugashi和unidic-lite包。

训练过程

模型训练配置与原始BERT相同：每实例512个token，每批次256个实例，总训练步数100万步。在MLM任务中采用全词掩码策略——MeCab分出的完整词汇对应的所有子词token会同时被掩码。

训练使用TensorFlow Research Cloud项目提供的Cloud TPU v3-8实例，耗时约5天完成。

许可协议

预训练模型遵循知识共享署名-相同方式共享3.0协议分发。

致谢

本模型训练得益于TensorFlow Research Cloud项目提供的Cloud TPU计算资源。