language: zh tags:

• gpt3 license: cc-by-nc-sa-4.0

Ko-GPT-Trinity 1.2B (v0.5)

模型描述

Ko-GPT-Trinity 1.2B是基于SK电讯复现的GPT-3架构设计的Transformer模型。"Ko-GPT-Trinity"代表该系列模型类别，"1.2B"表示本预训练模型的参数量。

发布时间

2021年5月

模型类型

语言模型

模型版本

12亿参数版本

训练数据

该模型使用SK电讯专为训练目的构建的大规模精选数据集Ko-DAT进行训练。

训练过程

模型在ko-DAT数据集上以掩码自回归语言模型形式训练了72000步，共处理350亿token，采用交叉熵损失函数。

使用范围与限制

模型通过学习韩语内部表征，可提取适用于下游任务的特征。其核心优势在于根据提示生成连贯文本，这也正是预训练的目标所在。

局限性及偏差

训练数据Ko-DAT已知包含粗俗、色情、政治敏感等不当内容，因此模型可能生成不符合社会规范的文本。与所有语言模型相同，其响应行为具有不可预测性，可能突然输出冒犯性内容。

作为自回归语言模型，其核心功能是根据文本输入预测下一个token。虽然该技术被广泛应用于其他领域，但相关研究仍在持续探索中。主要限制包括：

韩语主导性：模型主要基于韩语文本训练，最适用于韩语文本的分类、检索、摘要或生成任务。对于非韩语输入或训练数据中未充分体现的特定韩语方言，性能会显著下降。

可解释性缺陷：与大多数深度学习系统（尤其是此类大规模模型）类似，模型行为的可解释性与可预测性非常有限。

新输入高方差：面对新颖输入时，模型的预测置信度可能失准，其性能波动幅度远大于人类在标准测试中的表现。

评估结果

推理能力

模型咨询

请联系[Eric] (eric.davis@sktair.com)