语言: 日语

许可证: 知识共享署名-相同方式共享4.0

数据集:

• 维基百科

小部件示例:

• 文本: 在东京大学从事[MASK]的研究。

日语小型ELECTRA生成模型

这是一个基于日语文本预训练的ELECTRA模型。

预训练代码详见retarfi/language-pretraining。

模型架构

模型架构与ELECTRA原始论文中的小型ELECTRA一致：12层网络结构，隐藏层维度64，单注意力头。

训练数据

模型训练数据来自日语版维基百科。

训练语料基于2021年6月1日版本的日语维基百科转储文件生成，语料文件体积2.9GB，包含约2000万条语句。

分词处理

文本首先通过MeCab工具（使用IPA词典）进行分词，随后通过WordPiece算法进行子词划分。词表规模为32768。

训练配置

训练参数与ELECTRA原始论文中的小型模型配置相同：每实例128个token，每批次128个实例，总训练步数100万步。生成器规模为判别器的1/4。

文献引用

@article{Suzuki-etal-2023-ipm,
  title = {面向金融文本挖掘的领域专用语言模型构建与分析},
  author = {铃木正宏, 坂地宏树, 平野正典, 泉洁},
  journal = {信息处理与管理},
 卷号 = {60},
 期号 = {2},
 页码 = {103194},
 年份 = {2023},
 DOI = {10.1016/j.ipm.2022.103194}
}

许可声明

本预训练模型遵循知识共享署名-相同方式共享4.0国际许可协议条款发布。

致谢

本研究获得日本学术振兴会科研补助金（JP21K12010）支持。