语言:

• 英语
• 韩语 任务标签: 文本生成 标签:
• facebook
• meta
• pytorch
• llama
• llama-3
• llama-3-ko 许可证: llama3 许可证名称: llama3 许可证链接: https://llama.meta.com/llama3/license

• 原始模型为 beomi/Llama-3-Open-Ko-8B
• 使用 llama.cpp 进行量化

Ollama

模型文件

FROM Llama-3-Open-Ko-8B-Q8_0.gguf

TEMPLATE """{{- if .System }}
<s>{{ .System }}</s>
{{- end }}
<s>Human:
{{ .Prompt }}</s>
<s>Assistant:
"""

SYSTEM """一个好奇用户与人工智能助手之间的对话。助手对用户的问题提供有帮助、详细且礼貌的回答。"""

PARAMETER temperature 0
PARAMETER num_predict 3000
PARAMETER num_ctx 4096
PARAMETER stop <s>
PARAMETER stop </s>

2024.04.24 更新: 发布 Llama-3-Open-Ko-8B 模型及 Llama-3-Open-Ko-8B-Instruct-preview

模型详情

Llama-3-Open-Ko-8B

Llama-3-Open-Ko-8B 模型是基于 Llama-3-8B 框架继续预训练的语言模型。该模型使用了超过 60GB 的去重文本数据进行训练，这些数据来源于公开可获取的资源。借助新的 Llama-3 分词器，模型预训练处理的标记数超过 177 亿，略多于 Llama-2 韩语分词器处理的数量。训练在 Google TRC 项目支持的 TPUv5e-256 上完成。

Llama-3-Open-Ko-8B-Instruct-preview

指令模型 Llama-3-Open-Ko-8B-Instruct-preview 融合了 Chat Vector 论文 的理念。该模型为预览版，尚未使用任何韩语指令集进行微调，是开发新聊天和指令模型的理想起点。

Meta Llama-3

由 Meta 开发和发布的 Meta Llama 3 系列大语言模型（LLMs）专为对话场景优化，在行业常见基准测试中表现卓越，尤其注重实用性和安全性。

模型开发者: Junbum Lee (Beomi)

变体: Llama-3-Open-Ko 提供一种配置 —— 8B。

输入/输出: 模型接受文本输入并生成文本和代码。

模型架构: Llama 3 采用优化的 Transformer 架构。

*数据集列表详见此处

使用目的

商业与研究应用: Llama 3 专为英语设计，其指令调优模型适用于助手式聊天场景，而预训练模型则广泛适用于各类自然语言生成任务。

非适用范围: 任何违反适用法律、法规、《可接受使用政策》及《Llama 3 社区许可协议》的行为均被禁止。

责任与安全

Meta 秉持负责任 AI 理念，采取措施限制滥用和危害，同时支持开源社区。开发者应实施安全最佳实践，并利用 Meta Llama Guard 2 和 Code Shield 等资源定制安全需求。

负责任发布

通过严格的防滥用流程，我们确保遵循所有安全与道德准则，详见《负责任使用指南》。

伦理考量与限制

Llama 3 基于开放、包容和实用原则构建，旨在为不同背景和使用场景提供可访问的价值。开发者在部署前应对特定应用场景进行全面的安全测试和调优。

引用说明

Llama-3-Open-Ko

@article{llama3openko,
  title={Llama-3-Open-Ko},
  author={L, Junbum},
  year={2024},
  url={https://huggingface.co/beomi/Llama-3-Open-Ko-8B}
}

原始 Llama-3

@article{llama3modelcard,
  title={Llama 3 Model Card},
  author={AI@Meta},
  year={2024},
  url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}