语言:

• 英语
• 韩语 任务标签: 文本生成 标签:
• pytorch
• llama
• 因果语言模型
• 42dot_llm 许可证: 知识共享-非商业性使用 4.0

42dot_LLM-SFT-1.3B

42dot LLM-SFT 是由42dot开发的大型语言模型(LLM)，经过训练能够遵循自然语言指令。
该模型是42dot LLM系列的一部分，通过对42dot LLM-PLM进行监督微调(SFT)得到。本仓库包含13亿参数的版本。

模型描述

超参数

与42dot LLM-PLM相同，模型基于类似LLaMA 2的Transformer解码器架构，具体参数如下：

(*单位：token)

监督微调

微调过程消耗约112个A100 GPU小时。训练数据集由人工构建的（问题/指令）-回答对组成，包含单轮和多轮对话。

评估

参考Vicuna等最新评估方法，我们使用GPT-4对121个涵盖10类主题的提示进行多维度评估。评估数据集样本及提示模板可从GitHub仓库获取。

• 基线模型：
  • ChatGPT (GPT-3.5-turbo和GPT-4版本)
  • Bard
  • KORani-v2-13B

局限性与伦理考量

42dot LLM-SFT具有其他LLM共有的局限性，包括可能生成虚假/误导性内容（幻觉现象），以及因预训练数据可能产生有毒/偏见内容。建议用户充分认知这些风险并采取缓解措施。

免责声明

42dot LLM系列生成的内容不代表42dot公司立场。对于因使用本模型及其生成内容导致的任何直接/间接损失，42dot概不负责。

许可协议

本模型采用知识共享-非商业性使用4.0国际许可协议(CC BY-NC 4.0)。

引用

@misc{42dot2023llm,
      title={42dot LLM: 42dot大型语言模型系列},
      author={42dot Inc.},
      year={2023},
      url = {https://github.com/42dot/42dot_LLM},
      version = {1.0.0},
}