license: apache-2.0
tags:

• generated_from_trainer
  base_model: yanolja/EEVE-Korean-2.8B-v1.0
  model-index:
• name: yanolja/EEVE-Korean-Instruct-2.8B-v1.0
  results: []

EEVE-Korean-Instruct-2.8B-v1.0

加入我们的Discord社区！

如果您对大型语言模型领域充满热情，并希望交流知识与见解，我们诚挚邀请您加入我们的Discord服务器。请注意，该服务器主要使用韩语交流。LLM领域发展迅猛，若不积极分享，我们的集体知识可能会迅速过时。让我们携手合作，共同创造更大影响！点击加入：Discord链接。

我们的核心团队（按字母顺序排列）

模型简介

本模型是基于yanolja/EEVE-Korean-2.8B-v1.0微调的版本，后者是microsoft/phi-2的韩语词汇扩展版。我们特别通过Axolotl平台采用直接偏好优化（DPO）进行训练。

更多技术细节请参阅我们的报告：面向多语言大模型的高效词汇扩展方法。

提示词模板

一位好奇的用户与人工智能助手之间的对话。助手以专业、详尽且礼貌的方式回答用户问题。  
用户: {prompt}  
助手:  

使用示例

from transformers import AutoTokenizer  
from transformers import AutoModelForCausalLM  

model = AutoModelForCausalLM.from_pretrained("yanolja/EEVE-Korean-Instruct-2.8B-v1.0", trust_remote_code=True)  
tokenizer = AutoTokenizer.from_pretrained("yanolja/EEVE-Korean-Instruct-2.8B-v1.0", trust_remote_code=True)  

prompt_template = "一位好奇的用户与人工智能助手之间的对话。助手以专业、详尽且礼貌的方式回答用户问题。\n用户: {prompt}\n助手:\n"  
text = '韩国的首都是哪里？请从下列选项中选择：\n\n(A) 京城\n(B) 釜山\n(C) 平壤\n(D) 首尔\n(E) 全州'  
model_inputs = tokenizer(prompt_template.format(prompt=text), return_tensors='pt')  

outputs = model.generate(**model_inputs, max_new_tokens=256)  
output_text = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0]  
print(output_text)  

输出示例

一位好奇的用户与人工智能助手之间的对话。助手以专业、详尽且礼貌的方式回答用户问题。  
用户: 韩国的首都是哪里？请从下列选项中选择：  

(A) 京城  
(B) 釜山  
(C) 平壤  
(D) 首尔  
(E) 全州  
助手:  
韩国的首都是(D)首尔。首尔作为首都圈及周边主要城市组成的广域行政区，是大韩民国的首都。首尔约占首都圈人口的70%，是韩国经济、政治与文化的中心。  

训练数据

• 韩语版Open-Orca/SlimOrca-Dedup
• 韩语版argilla/ultrafeedback-binarized-preferences-cleaned
• 未使用其他数据集

引用文献

@misc{kim2024efficient,  
      title={面向多语言大模型的高效词汇扩展方法},  
      author={Seungduk Kim and Seungtaek Choi and Myeongho Jeong},  
      year={2024},  
      eprint={2402.14714},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL}  
}  

@misc{cui2023ultrafeedback,  
      title={UltraFeedback: 通过高质量反馈提升语言模型},  
      author={Ganqu Cui and Lifan Yuan and Ning Ding and Guanming Yao and Wei Zhu and Yuan Ni and Guotong Xie and Zhiyuan Liu and Maosong Sun},  
      year={2023},  
      eprint={2310.01377},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL}  
}  

@misc{SlimOrcaDedup,  
  title = {SlimOrca去重数据集},  
  author = {Wing Lian等},  
  year = {2023},  
  publisher = {HuggingFace},  
  url = {https://huggingface.co/datasets/Open-Orca/SlimOrca-Dedup/}  
}  

@misc{mukherjee2023orca,  
      title={Orca: 基于GPT-4复杂解释轨迹的渐进式学习},  
      author={Subhabrata Mukherjee等},  
      year={2023},  
      eprint={2306.02707},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL}  
}  

Open LLM排行榜评估结果

详细结果参见此处