库名称：transformers
许可证：apache-2.0
基础模型：

• flammenai/flammen20-mistral-7B
  数据集：
• flammenai/Date-DPO-v2

flammen21-mistral-7B

基于预训练模型合并并在flammenai/Date-DPO-v2上微调的Mistral 7B大语言模型。
Flammen擅长卓越的角色扮演、创意写作和通用智能任务。

方法

使用Google Colab上的L4显卡进行微调。

通过直接偏好优化微调Mistral-7b模型 - Maxime Labonne

配置

LoRA、模型及训练设置：

# LoRA配置  
peft_config = LoraConfig(  
    r=16,  
    lora_alpha=16,  
    lora_dropout=0.05,  
    bias="none",  
    task_type="CAUSAL_LM",  
    target_modules=['k_proj', 'gate_proj', 'v_proj', 'up_proj', 'q_proj', 'o_proj', 'down_proj']  
)  

# 待微调模型  
model = AutoModelForCausalLM.from_pretrained(  
    model_name,  
    torch_dtype=torch.bfloat16,  
    load_in_4bit=True  
)  
model.config.use_cache = False  

# 参考模型  
ref_model = AutoModelForCausalLM.from_pretrained(  
    model_name,  
    torch_dtype=torch.bfloat16,  
    load_in_4bit=True  
)  

# 训练参数  
training_args = TrainingArguments(  
    per_device_train_batch_size=2,  
    gradient_accumulation_steps=8,  
    gradient_checkpointing=True,  
    learning_rate=5e-5,  
    lr_scheduler_type="cosine",  
    max_steps=420,  
    save_strategy="no",  
    logging_steps=1,  
    output_dir=new_model,  
    optim="paged_adamw_32bit",  
    warmup_steps=100,  
    bf16=True,  
    report_to="wandb",  
)  

# 创建DPO训练器  
dpo_trainer = DPOTrainer(  
    model,  
    ref_model,  
    args=training_args,  
    train_dataset=dataset,  
    tokenizer=tokenizer,  
    peft_config=peft_config,  
    beta=0.1,  
    max_prompt_length=2048,  
    max_length=4096,  
    force_use_ref_model=True  
)  

# 使用DPO微调模型  
dpo_trainer.train()