language:

• ko tags:
• pytorch
• causal-lm license: apache-2.0

Polyglot-Ko-1.3B

模型描述

Polyglot-Ko是由EleutherAI多语言团队开发的一系列大规模韩语自回归语言模型。

该模型包含24个Transformer层，模型维度为2048，前馈网络维度为8192。模型维度被分割为16个头，每个头维度为128。旋转位置嵌入(RoPE)应用于每个头的64个维度。模型使用30003个词汇进行分词训练。

训练数据

Polyglot-Ko-1.3B在863GB韩语数据(处理前1.2TB)上训练，这是由TUNiB策划的大规模数据集。数据收集过程遵守韩国法律。该数据集专为训练Polyglot-Ko模型而收集，因此不会公开发布。

此外，为避免模型记忆和生成训练数据中的个人身份信息(PII)，我们在预处理阶段屏蔽了以下敏感信息：

• <|acc|> : 银行账号
• <|rrn|> : 居民登记号
• <|tell|> : 电话号码

训练过程

Polyglot-Ko-1.3B在256块A100 GPU上使用GPT-NeoX框架训练了102,000步，处理了2130亿个token。它作为自回归语言模型训练，使用交叉熵损失最大化预测下一个token的可能性。

使用方法

可以使用AutoModelForCausalLM类轻松加载此模型：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/polyglot-ko-1.3b")
model = AutoModelForCausalLM.from_pretrained("EleutherAI/polyglot-ko-1.3b")

评估结果

我们在KOBEST数据集上评估Polyglot-Ko-1.3B，这是一个包含5个下游任务的基准测试，对比了skt/ko-gpt-trinity-1.2B-v0.5、kakaobrain/kogpt和facebook/xglm-7.5B等模型，使用了论文中提供的提示。

以下表格显示了不同少样本数量时的结果。您可以使用lm-evaluation-harness的polyglot分支和以下脚本复现这些结果。为公平比较，所有模型在相同条件和相同提示下运行。表中n指少样本示例数量。

在WiC数据集上，所有模型表现随机。

python main.py \
   --model gpt2 \
   --model_args pretrained='EleutherAI/polyglot-ko-1.3b' \
   --tasks kobest_copa,kobest_hellaswag,kobest_boolq,kobest_sentineg,kobest_wic \
   --num_fewshot $YOUR_NUM_FEWSHOT \
   --batch_size $YOUR_BATCH_SIZE \
   --device $YOUR_DEVICE \
   --output_path $/path/to/output/

COPA (F1)

HellaSwag (F1)

BoolQ (F1)

SentiNeg (F1)

WiC (F1)