语言: 日语

许可证: 知识共享署名-相同方式共享4.0

数据集:

• 维基百科

示例输入:

• 文本: "在东京大学研究[MASK]。"

日语小型ELECTRA生成模型

这是一个基于日语文本预训练的ELECTRA模型。

预训练代码详见retarfi/language-pretraining。

模型架构

模型架构与ELECTRA原始实现中的小型ELECTRA一致：12层网络结构，隐藏层维度256，4个注意力头。

训练数据

模型训练数据来源于日语维基百科。

训练语料基于2021年6月1日版本的日语维基百科转储文件生成，语料文件大小为2.9GB，包含约2000万条语句。

分词处理

文本首先通过MeCab工具（使用IPA词典）进行分词，再通过WordPiece算法划分子词。

词表规模为32768个词元。

训练配置

模型训练参数与ELECTRA原始论文中小型模型配置相同（规模除外）：每实例128个词元，每批次128个实例，总训练步数100万次。

生成器与判别器规模相同。

文献引用

@article{Suzuki-etal-2023-ipm,  
  title = {面向金融文本挖掘的领域专用语言模型构建与分析},  
  author = {铃木正宏、坂田浩树、平野正典、泉洁},  
  journal = {信息处理与管理},  
  volume = {60},  
  number = {2},  
  pages = {103194},  
  year = {2023},  
  doi = {10.1016/j.ipm.2022.103194}  
}  

许可声明

本预训练模型遵循知识共享署名-相同方式共享4.0国际许可协议条款发布。

致谢

本研究获日本学术振兴会科研费资助（项目编号JP21K12010）。