语言:

• 英文 库名称: transformers 标签:
• orpo
• Mistral
• Mistral-7B-v0.3
• sft 数据集:
• mlabonne/orpo-dpo-mix-40k

模型描述

该模型是基于mistralai/Mistral-7B-v0.3进行ORPO微调的版本，使用了mlabonne/orpo-dpo-mix-40k数据集的2.5k子样本。感谢Maxime Labonne提供的这篇精彩指南，介绍了胜率比策略优化(ORPO)方法。ORPO将传统的监督微调和偏好对齐阶段整合为单一流程。

该模型遵循ChatML聊天模板！

使用方法

import torch
from transformers import AutoTokenizer, pipeline

model_id = "MuntasirHossain/Orpo-Mistral-7B-v0.3"
tokenizer = AutoTokenizer.from_pretrained(model_id)

llm = pipeline(
    "文本生成",
    model=model_id,
    torch_dtype=torch.float16,
    device_map="auto",
)

def generate(input_text):
  messages = [{"role": "用户", "content": input_text}]
  prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
  outputs = llm(prompt, max_new_tokens=512,)
  return outputs[0]["generated_text"][len(prompt):]

generate("用简单的语言解释量子隧穿效应。")