日语金融领域小型BERT模型

这是一个基于日语文本预训练的BERT模型。

预训练代码可在retarfi/language-pretraining获取。

模型架构

模型架构与原始ELECTRA论文中的小型BERT一致：12层网络结构，256维隐藏状态，4个注意力头。

训练数据

模型训练使用了维基百科语料库和金融领域语料库。

维基百科语料库来自2021年6月1日的日语维基百科转储文件，语料文件大小为2.9GB，包含约2000万条语句。

金融领域语料库包含两部分：

• 2012年10月9日至2020年12月31日的财务报告摘要
• 2018年2月8日至2020年12月31日的证券报告

金融语料文件大小为5.2GB，包含约2700万条语句。

分词处理

文本首先通过MeCab工具配合IPA词典进行分词，然后通过WordPiece算法进行子词划分。词汇表规模为32768个词项。

训练配置

模型训练参数与原始ELECTRA论文中的小型BERT配置相同：每个实例128个token，每批次128个实例，总训练步数145万步。

引用文献

@article{Suzuki-etal-2023-ipm,
  title = {面向金融文本挖掘的领域专用语言模型构建与分析},
  author = {铃木正宏、坂地弘树、平野正典、泉洁},
  journal = {信息处理与管理},
  volume = {60},
  number = {2},
  pages = {103194},
  year = {2023},
  doi = {10.1016/j.ipm.2022.103194}
}

许可协议

本预训练模型遵循知识共享署名-相同方式共享4.0国际许可协议发布。

致谢

本研究获得日本学术振兴会科研经费资助（项目编号JP21K12010）。