语言:

• 英语
• 韩语 许可证: cc-by-nc-4.0 标签:
• dnotitia
• 自然语言处理
• 大语言模型
• 小语言模型
• 对话
• 聊天 基础模型:
• meta-llama/Meta-Llama-3.1-8B 库名称: transformers 流水线标签: 文本生成

DNA 1.0 8B 指导模型

DNA 1.0 8B 指导模型是基于Llama架构的最先进（SOTA）双语语言模型，特别优化了韩语理解和生成能力，同时保持强大的英语能力。该模型通过复杂的模型合并过程开发，包括与Llama 3.1 8B指导模型进行球面线性插值（SLERP），并使用Llama 3.1 405B作为教师模型进行知识蒸馏（KD）。通过高质量韩语数据集的持续预训练（CPT）进行了广泛训练，并通过监督微调（SFT）和直接偏好优化（DPO）完成训练流程，以符合人类偏好并增强指令跟随能力。

DNA 1.0 8B 指导模型在大约7B个精心挑选的标记上进行了微调，并经过广泛的指令调整，以增强其遵循复杂指令和进行自然对话的能力。

更多详情，请参阅我们的技术报告。

• 开发方: Dnotitia Inc.
• 支持语言: 韩语、英语
• 模型发布日期: 2024年12月10日
• 词汇量: 128,256
• 上下文长度: 131,072标记（128k）
• 许可证: CC BY-NC 4.0

评估

我们在多个基准测试中评估了DNA 1.0 8B 指导模型与其他类似规模的知名语言模型的表现，包括韩语特定任务和通用语言理解指标。

• 最高 分数以粗体显示，第二高分数以下划线显示。

评估协议
为便于复现我们的评估结果，我们列出了使用的评估工具和设置：

快速开始

此模型需要transformers >= 4.43.0。

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

tokenizer = AutoTokenizer.from_pretrained('dnotitia/Llama-DNA-1.0-8B-Instruct')
model = AutoModelForCausalLM.from_pretrained('dnotitia/Llama-DNA-1.0-8B-Instruct', device_map='auto')
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

conversation = [
    {"role": "system", "content": "You are a helpful assistant, Dnotitia DNA."},
    {"role": "user", "content": "너의 이름은?"},
]
inputs = tokenizer.apply_chat_template(conversation,
                                       add_generation_prompt=True,
                                       return_dict=True,
                                       return_tensors="pt").to(model.device)
_ = model.generate(**inputs, streamer=streamer)

局限性

尽管DNA 1.0 8B 指导模型表现出色，用户应注意以下限制：

• 模型可能偶尔生成有偏见或不适当的内容
• 回答基于训练数据，可能不反映最新信息
• 模型有时可能产生事实错误或不一致的答案
• 性能可能因任务的复杂性和领域而异
• 生成内容应审查其准确性和适当性

许可证

本模型根据CC BY-NC 4.0许可证发布。如需商业用途，请联系我们。

附录

• KMMLU分数对比图：

• DNA 1.0 8B 指导模型架构¹：

• 模型权重合并前后差异的中位数百分比（我们的SFT模型 + Llama 3.1 8B 指导）：

引用

如果您在学术研究中使用或讨论此模型，请引用本项目以帮助传播：

@misc{lee2025dna10technicalreport,
      title={DNA 1.0 技术报告}, 
      author={Jungyup Lee and Jemin Kim and Sang Park and SeungJae Lee},
      year={2025},
      eprint={2501.10648},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2501.10648}, 
}