许可证：llama3
语言：

• 英文
• 韩文
  任务标签：文本生成
  标签：
• saltlux
• luxia
• meta
• llama-3
• pytorch

模型详情

Saltlux AI实验室语言模型团队训练并公开的Ko-Llama3-Luxia-8B模型是基于Meta发布的Llama-3-8B模型针对韩语优化的版本。


我们从自有的超过1TB韩语训练数据中精选了约100GB数据用于预训练。


同时扩展了公开的Llama-3分词器以支持韩语，并应用于预训练过程。

• Meta Llama-3: Meta开发并发布了Llama 3系列大语言模型(LLMs)，包含80亿和700亿参数的预训练及指令调优生成文本模型。Llama 3指令调优模型针对对话场景优化，在行业基准测试中超越多数开源聊天模型。我们在开发过程中特别注重优化实用性与安全性。
• 许可证: Llama3许可证 https://llama.meta.com/llama3/license

预期用途

Ko-Llama3-Luxia-8B专为研究目的开发，可自由用于各类自然语言生成任务。

使用方法

本模型卡提供Ko-Llama3-Luxia-8B模型及基于transformers库的示例代码：

import transformers
import torch

model_id = "saltlux/Ko-Llama3-Luxia-8B"

pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)
pipeline("<|begin_of_text|>您好，这里是Saltlux AI实验室。")

训练详情

韩语优化的预训练数据采用Saltlux自有语料库（含新闻、法律、专利、医疗、历史、社会、文化、书面/口语对话等领域，约100GB，数据截至2023年）。

• 当前发布版本为训练1个周期的模型。
  

训练设备

预训练使用NVIDIA H100 80GB * 8台设备完成。

训练超参数

分词器

为优化韩语处理，在Llama-3分词器基础上新增17,536个韩语专用token。

分词效果对比

• 韩文

• 英文

生成效果对比

引用说明

Ko-Llama3-Luxia-8B

@article{kollama3luxiamodelcard,
  title={Ko Llama 3 Luxia Model Card},
  author={AILabs@Saltux},
  year={2024},
  url={https://huggingface.co/saltlux/Ko-Llama3-Luxia-8B/blob/main/README.md}
}

原始Llama-3

@article{llama3modelcard,
title={Llama 3 Model Card},
author={AI@Meta},
year={2024},
url={https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}