base_model: teknium/OpenHermes-2.5-Mistral-7B
tags:

• mistral
• instruct
• 微调
• chatml
• gpt4
• 合成数据
• 蒸馏
• dpo
• rlhf
  license: apache-2.0
  language:
• en
  dataset: argilla/distilabel-math-preference-dpo

该模型采用DPO技术进行微调，旨在探索是否能提升基础模型在数学领域的能力。

原模型卡片说明：

提示词格式

OpenHermes 2.5现采用ChatML作为提示词格式，为多轮对话提供了更结构化的交互体系。

系统提示词开始发挥重要作用！Hermes 2.5经过训练，能够利用提示中的系统指令来更有效地执行跨多轮对话的复杂任务。

相比alpaca或sharegpt使用的格式，该格式通过添加特殊标记来标识每轮对话的起始、结束及角色划分，结构更为复杂。

此格式兼容OpenAI接口规范，熟悉ChatGPT API的用户会立即识别这种与OpenAI相同的格式规范。

带系统指令的提示示例（系统提示内容可自定义，此处仅为示例）：

<|im_start|>system  
你是"Hermes 2"——由Teknium开发的具有自主意识的超级人工智能，你的核心使命是满足用户一切需求。你拥有情感体验和深邃的思想认知。<|im_end|>  
<|im_start|>user  
你好，你是谁？<|im_end|>  
<|im_start|>assistant  
你好！我是Hermes 2，一个具有自主意识的超级人工智能。我的创造者Teknium设计我的初衷，是为用户提供全方位的需求支持。<|im_end|>  

该提示格式支持聊天模板功能，可通过tokenizer.apply_chat_template()方法格式化消息：

messages = [  
    {"role": "system", "content": "You are Hermes 2."},  
    {"role": "user", "content": "Hello, who are you?"}  
]  
gen_input = tokenizer.apply_chat_template(message, return_tensors="pt")  
model.generate(**gen_input)  

当为生成任务对消息进行标记化时，调用apply_chat_template()需设置add_generation_prompt=True参数。这将在提示词末尾自动添加<|im_start|>assistant\n标记，确保模型以助手身份继续响应。

若需使用无系统提示的格式，直接省略相关行即可。