🚀 KONI（KISTI Open Natural Intelligence）模型

KONI是由韩国科学技术信息研究院（KISTI）开发的一款专业大语言模型（LLM）。该模型专为科技领域量身打造，在相关任务中表现卓越，能有效助力科技领域的各类应用。

✨ 主要特性

• 专注科技领域：模型在海量且专业的科技领域语料库上进行训练，对科技相关的任务有出色的处理能力。
• 性能显著提升：相较于2023年12月的初始版本，当前版本的KONI在性能上有了显著的提升。
• 基础模型：KONI - Llama3 - 8B - Instruct - 20240729的基础模型是KONI - Llama3 - 8B - Merged - 20240724，它是Meta - Llama - 3 - 8B和KISTI - KONI/KONI - Llama3 - 8B - 20240630的融合模型。
• 对齐方式：采用了监督微调（SFT）和直接偏好优化（DPO）的对齐方式。

📦 安装指南

文档中未提及安装相关内容，暂不提供安装指南。

💻 使用示例

基础用法

import transformers
import torch

model_id = "KISTI-KONI/KONI-Llama3-8B-Instruct-20240729"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

pipeline.model.eval()

instruction = "안녕? 너는 누구야?"

messages = [
   {"role": "user", "content": f"{instruction}"}
    ]

prompt = pipeline.tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=2048,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.7,
    top_p=0.9
)

print(outputs[0]["generated_text"][len(prompt):])

高级用法

文档中未提及高级用法相关代码示例，暂不提供高级用法说明。

📚 详细文档

数据信息

• 大约使用了11k的SFT数据和7k的DPO数据。
• SFT数据：SFT数据包括内部生成的数据和Hugging Face上公开可用的数据，必要时会翻译成韩语。
• DPO数据：DPO数据由argilla/dpo - mix - 7k翻译和整理而来。

基准测试结果

在LogicKor上的测试结果如下：

截至2024年7月30日，我们的模型在LogicKor排行榜上的公开可用的8B模型中表现最佳。

🔧 技术细节

文档中未提及详细技术细节内容，暂不提供技术细节说明。

📄 许可证

本模型使用的许可证为llama3。

📖 引用方式

@article{KISTI-KONI/KONI-Llama3-8B-Instruct-20240729,
  title={KISTI-KONI/KONI-Llama3-8B-Instruct-20240729},
  author={KISTI},
  year={2024},
  url={https://huggingface.co/KISTI-KONI/KONI-Llama3-8B-Instruct-20240729}
}

👥 贡献者

• 韩国科学技术信息研究院（KISTI），大规模人工智能研究小组

🙏 特别感谢

• @beomi
• @kuotient
• 林景泰（KyungTae Lim）

🎉 致谢

• 本研究得到了韩国科学技术信息研究院（KISTI）的支持。
• 本工作得到了国家超级计算中心的支持，包括超级计算资源和技术支持（KISTI）。

📚 参考文献

• https://huggingface.co/meta - llama/Meta - Llama - 3 - 8B
• https://huggingface.co/meta - llama/meta - llama/Meta - Llama - 3 - 8B - Instruct