基于韩语的ELECTRA模型（KR-ELECTRA）

这是由首尔国立大学计算语言学实验室开发的韩语专用ELECTRA模型发布版本，其性能相当或更优。我们的模型在涉及非正式文本（如评论文档）的任务中表现出色，同时在其他类型任务上仍保持可比结果。

发布模型

我们按照ELECTRA基础规模模型的标准预训练了KR-ELECTRA模型。训练基于TensorFlow-v1框架，使用Google Cloud Platform的v3-8 TPU完成。

模型详情

我们遵循了ELECTRA基础模型的训练参数标准。

超参数配置

预训练参数

训练数据集

34GB韩语文本，包含维基百科文档、新闻文章、法律文本、新闻评论、商品评论等。数据经过平衡处理，书面语与口语数据比例均衡。

词汇表

词汇量30,000词
采用基于MeCab-Ko形态分析器的语素单元分词方案。

下载链接

• TensorFlow-v1模型（下载）

• HuggingFace平台PyTorch版本：

from transformers import ElectraModel, ElectraTokenizer

model = ElectraModel.from_pretrained("snunlp/KR-ELECTRA-discriminator")
tokenizer = ElectraTokenizer.from_pretrained("snunlp/KR-ELECTRA-discriminator")

微调应用

我们在KoELECTRA微调代码基础上进行了小幅修改，并调整了超参数。具体代码与配置文件可从我们的GitHub仓库获取。

性能对比

基准测试结果引自KoELECTRA项目。

引用规范

@misc{kr-electra,
  author = {Lee, Sangah and Hyopil Shin},
  title = {KR-ELECTRA：基于韩语的ELECTRA模型},
  year = {2022},
  publisher = {GitHub},
  journal = {GitHub仓库},
  howpublished = {\url{https://github.com/snunlp/KR-ELECTRA}}
}