language:

• 英文
• 韩文 pipeline_tag: 文本生成 tags:
• pytorch
• llama
• 因果语言模型
• 42dot_llm license: cc-by-nc-4.0

42dot_LLM-PLM-1.3B

42dot LLM-PLM 是由42dot开发的一个预训练语言模型（PLM），属于42dot LLM（大语言模型）系列的一部分。42dot LLM-PLM 使用韩文和英文文本语料库进行预训练，可作为多种韩文和英文自然语言任务的基础语言模型。本仓库包含该模型的13亿参数版本。

模型描述

超参数

42dot LLM-PLM 基于类似于LLaMA 2的Transformer解码器架构构建，其超参数如下表所示。

预训练

预训练耗时约49K GPU小时（NVIDIA A100）。相关设置如下表所示。

(* 单位：词元)

预训练数据集

我们使用了一系列公开可用的文本语料库，包括：

• 韩文：包括Jikji项目、mC4-ko、LBox Open、KLUE、维基百科（韩文）等。
• 英文：包括The Pile、RedPajama、C4等。

分词器

分词器基于字节级BPE算法。我们使用预训练语料库的一个子集从头训练其词汇表。为了构建子集，分别从韩文和英文语料库中采样了10M和10M文档。最终的词汇表大小约为50K。

零样本评估

我们在多个韩文和英文学术基准上评估了42dot LLM-PLM。所有结果均使用lm-eval-harness和Hugging Face Hub上发布的模型获得。

韩文（KOBEST）

英文

局限性与伦理考量

42dot LLM-PLM与其他大语言模型（LLM）共享一些众所周知的局限性。例如，由于42dot LLM-PLM也存在幻觉问题，它可能会生成虚假和误导性内容。此外，由于使用了网络可用的训练数据，42dot LLM-PLM可能会生成有毒、有害和带有偏见的内容。我们强烈建议42dot LLM-PLM的用户意识到这些局限性，并采取必要措施来缓解这些问题。

免责声明

42dot LLM系列（“42dot LLM”）生成的内容并不一定反映42dot Inc.（“42dot”）的观点或意见。42dot对因使用42dot LLM及其生成内容而导致的任何直接、间接、暗示性、惩罚性、特殊性、附带性或后果性损害不承担任何责任。

许可证

42dot LLM-PLM采用知识共享署名-非商业性使用4.0（CC BY-NC 4.0）许可协议。

引用

@misc{42dot2023llm,
      title={42dot LLM: A Series of Large Language Model by 42dot},
      author={42dot Inc.},
      year={2023},
      url = {https://github.com/42dot/42dot_LLM},
      version = {1.0.0},
}