许可证：apache-2.0
标签：

• 训练生成
  基础模型：yanolja/EEVE-Korean-10.8B-v1.0
  模型索引：
• 名称：yanolja/EEVE-Korean-Instruct-10.8B-v1.0
  结果：[]

EEVE-Korean-Instruct-10.8B-v1.0

加入我们的Discord社区！

如果您对大型语言模型领域充满热情，并希望交流知识与见解，我们诚挚邀请您加入我们的Discord服务器。请注意，此服务器主要使用韩语交流。LLM领域发展迅速，若不积极分享，我们的集体知识可能会迅速过时。让我们携手合作，共同创造更大影响！加入链接：Discord链接。

我们的专业团队（按字母顺序排列）

关于模型

此模型是基于yanolja/EEVE-Korean-10.8B-v1.0的微调版本，后者是upstage/SOLAR-10.7B-v1.0的韩语词汇扩展版。具体而言，我们通过Axolotl使用直接偏好优化（DPO）进行了微调。

更多详情，请参阅我们的技术报告：高效且有效的多语言大语言模型词汇扩展。

提示模板

一位好奇的用户与人工智能助手之间的对话。助手对用户的问题提供有用、详细且礼貌的回答。  
用户：{prompt}  
助手：  

使用方法

from transformers import AutoTokenizer  
from transformers import AutoModelForCausalLM  

model = AutoModelForCausalLM.from_pretrained("yanolja/EEVE-Korean-Instruct-10.8B-v1.0")  
tokenizer = AutoTokenizer.from_pretrained("yanolja/EEVE-Korean-Instruct-10.8B-v1.0")  

prompt_template = "一位好奇的用户与人工智能助手之间的对话。助手对用户的问题提供有用、详细且礼貌的回答。\n用户：{prompt}\n助手：\n"  
text = '韩国的首都是哪里？请从以下选项中选择。\n\n(A) 京城\n(B) 釜山\n(C) 平壤\n(D) 首尔\n(E) 全州'  
model_inputs = tokenizer(prompt_template.format(prompt=text), return_tensors='pt')  

outputs = model.generate(**model_inputs, max_new_tokens=256)  
output_text = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0]  
print(output_text)  

示例输出

一位好奇的用户与人工智能助手之间的对话。助手对用户的问题提供有用、详细且礼貌的回答。  
用户：韩国的首都是哪里？请从以下选项中选择。  

(A) 京城  
(B) 釜山  
(C) 平壤  
(D) 首尔  
(E) 全州  
助手：  
(D) 首尔是韩国的首都。首尔位于国家东北部，是政治、经济和文化的中心。拥有超过1000万人口，是世界上最大的城市之一。首尔以高楼大厦、现代化基础设施和充满活力的文化场景闻名。此外，还有许多历史名胜和博物馆，为游客提供丰富的文化体验。  

训练数据

• 韩语翻译版的Open-Orca/SlimOrca-Dedup
• 韩语翻译版的argilla/ultrafeedback-binarized-preferences-cleaned
• 未使用其他数据集

引用

@misc{kim2024efficient,  
      title={高效且有效的多语言大语言模型词汇扩展},  
      author={Seungduk Kim and Seungtaek Choi and Myeongho Jeong},  
      year={2024},  
      eprint={2402.14714},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL}  
}  

@misc{cui2023ultrafeedback,  
      title={UltraFeedback：通过高质量反馈提升语言模型},  
      author={Ganqu Cui and Lifan Yuan and Ning Ding and Guanming Yao and Wei Zhu and Yuan Ni and Guotong Xie and Zhiyuan Liu and Maosong Sun},  
      year={2023},  
      eprint={2310.01377},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL}  
}  

@misc{SlimOrcaDedup,  
  title = {SlimOrca Dedup：SlimOrca的去重子集},  
  author = {Wing Lian and Guan Wang and Bleys Goodson and Eugene Pentland and Austin Cook and Chanvichet Vong and "Teknium" and Nathan Hoos},  
  year = {2023},  
  publisher = {HuggingFace},  
  url = {https://huggingface.co/datasets/Open-Orca/SlimOrca-Dedup/}  
}  

@misc{mukherjee2023orca,  
      title={Orca：从GPT-4的复杂解释轨迹中渐进学习},  
      author={Subhabrata Mukherjee and Arindam Mitra and Ganesh Jawahar and Sahaj Agarwal and Hamid Palangi and Ahmed Awadallah},  
      year={2023},  
      eprint={2306.02707},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL}  
}  

Open LLM排行榜评估结果

详细结果请见此处