KoMiniLM

🐣 韩语迷你语言模型

概述

当前语言模型通常包含数亿参数，由于延迟和容量限制，这给实际应用中的微调和在线服务带来了挑战。在本项目中，我们发布了一个轻量级韩语语言模型，以解决现有语言模型的上述缺点。

快速体验

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("BM-K/KoMiniLM") # 23M模型
model = AutoModel.from_pretrained("BM-K/KoMiniLM")

inputs = tokenizer("안녕 세상아!", return_tensors="pt")
outputs = model(**inputs)

更新历史

2022.06.20更新

• 发布KoMiniLM-bert-68M

2022.05.24更新

• 发布KoMiniLM-bert-23M

预训练

教师模型: KLUE-BERT(base)

目标

自注意力分布和自注意力值关系[Wang et al., 2020]从教师模型的每个离散层蒸馏到学生模型。Wang等人仅在transformer的最后一层进行蒸馏，但本项目并非如此。

数据集

配置

• KoMiniLM-23M

{
  "architectures": [
    "BertForPreTraining"
  ],
  "attention_probs_dropout_prob": 0.1,
  "classifier_dropout": null,
  "hidden_act": "gelu",
  "hidden_dropout_prob": 0.1,
  "hidden_size": 384,
  "initializer_range": 0.02,
  "intermediate_size": 1536,
  "layer_norm_eps": 1e-12,
  "max_position_embeddings": 512,
  "model_type": "bert",
  "num_attention_heads": 12,
  "num_hidden_layers": 6,
  "output_attentions": true,
  "pad_token_id": 0,
  "position_embedding_type": "absolute",
  "return_dict": false,
  "torch_dtype": "float32",
  "transformers_version": "4.13.0",
  "type_vocab_size": 2,
  "use_cache": true,
  "vocab_size": 32000
}

子任务性能

• 我们的微调实验结果是每个任务运行3次的平均值。

cd KoMiniLM-Finetune
bash scripts/run_all_kominilm.sh

• NSMC (Naver情感电影语料库)
• Naver NER (Naver NLP挑战赛2018的NER任务)
• PAWS (韩语单词重组生成的对抗性复述)
• KorNLI/KorSTS (韩语自然语言理解)
• Question Pair (配对问题)
• KorQuAD (韩语问答数据集)

用户贡献示例

参考文献

• KLUE BERT
• KcBERT
• SKT KoBERT
• DistilKoBERT
• lassl