库名称: transformers
基础模型:

• nbeerbower/llama-3-bophades-v3-8B
  数据集:
• jondurbin/gutenberg-dpo-v0.1
  许可证: 其他
  许可证名称: llama3
  模型索引:
• 名称: llama-3-gutenberg-8B
  结果:
  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: IFEval (0-Shot)
    类型: wis-k/instruction-following-eval
    分割: 训练集
    参数:
    num_few_shot: 0
    指标:
    • 类型: inst_level_strict_acc 和 prompt_level_strict_acc
      值: 43.72
      名称: 平均准确率
      来源:
      url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard#/?search=nbeerbower%2Fllama-3-gutenberg-8B
      名称: Open LLM 排行榜
  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: BBH (3-Shot)
    类型: SaylorTwift/bbh
    分割: 测试集
    参数:
    num_few_shot: 3
    指标:
    • 类型: acc_norm
      值: 27.96
      名称: 标准化准确率
      来源:
      url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard#/?search=nbeerbower%2Fllama-3-gutenberg-8B
      名称: Open LLM 排行榜
  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: MATH Lvl 5 (4-Shot)
    类型: lighteval/MATH-Hard
    分割: 测试集
    参数:
    num_few_shot: 4
    指标:
    • 类型: exact_match
      值: 7.78
      名称: 精确匹配
      来源:
      url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard#/?search=nbeerbower%2Fllama-3-gutenberg-8B
      名称: Open LLM 排行榜
  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: GPQA (0-shot)
    类型: Idavidrein/gpqa
    分割: 训练集
    参数:
    num_few_shot: 0
    指标:
    • 类型: acc_norm
      值: 6.82
      名称: 标准化准确率
      来源:
      url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard#/?search=nbeerbower%2Fllama-3-gutenberg-8B
      名称: Open LLM 排行榜
  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: MuSR (0-shot)
    类型: TAUR-Lab/MuSR
    参数:
    num_few_shot: 0
    指标:
    • 类型: acc_norm
      值: 10.05
      名称: 标准化准确率
      来源:
      url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard#/?search=nbeerbower%2Fllama-3-gutenberg-8B
      名称: Open LLM 排行榜
  • 任务:
    类型: 文本生成
    名称: 文本生成
    数据集:
    名称: MMLU-PRO (5-shot)
    类型: TIGER-Lab/MMLU-Pro
    配置: 主要
    分割: 测试集
    参数:
    num_few_shot: 5
    指标:
    • 类型: acc
      值: 31.45
      名称: 准确率
      来源:
      url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard#/?search=nbeerbower%2Fllama-3-gutenberg-8B
      名称: Open LLM 排行榜

llama-3-gutenberg-8B

该模型基于 Llama-3-8b，并受 META LLAMA 3 社区许可协议 约束。

nbeerbower/llama-3-bophades-v3-8B 在 jondurbin/gutenberg-dpo-v0.1 上进行了微调。

方法

使用 Google Colab 上的 A100 进行微调。

在 Colab 笔记本中微调您自己的 Llama 2 模型

配置

数据集准备，系统提示：

def chatml_format(example):  

    # 格式化指令  
    prompt = "<|im_start|>user\n" + example['prompt'] + "<|im_end|>\n<|im_start|>assistant\n"  

    # 格式化选择的答案  
    chosen = example['chosen'] + "<|im_end|>\n"  

    # 格式化拒绝的答案  
    rejected = example['rejected'] + "<|im_end|>\n"  

    return {  
        "prompt": prompt,  
        "chosen": chosen,  
        "rejected": rejected,  
    }  

dataset = load_dataset("jondurbin/gutenberg-dpo-v0.1")['train']  

# 保存列  
original_columns = dataset.column_names  

# 分词器  
tokenizer = AutoTokenizer.from_pretrained(model_name)  
tokenizer.pad_token = tokenizer.eos_token  
tokenizer.padding_side = "left"  

# 格式化数据集  
dataset = dataset.map(  
    chatml_format,  
    remove_columns=original_columns  
)  

LoRA、模型和训练设置：

# LoRA 配置  
peft_config = LoraConfig(  
    r=16,  
    lora_alpha=16,  
    lora_dropout=0.05,  
    bias="none",  
    task_type="CAUSAL_LM",  
    target_modules=['k_proj', 'gate_proj', 'v_proj', 'up_proj', 'q_proj', 'o_proj', 'down_proj']  
)  

# 待微调的模型  
model = AutoModelForCausalLM.from_pretrained(  
    model_name,  
    torch_dtype=torch.bfloat16,  
    load_in_4bit=True  
)  
model.config.use_cache = False  

# 参考模型  
ref_model = AutoModelForCausalLM.from_pretrained(  
    model_name,  
    torch_dtype=torch.bfloat16,  
    load_in_4bit=True  
)  

# 训练参数  
training_args = TrainingArguments(  
    per_device_train_batch_size=2,  
    gradient_accumulation_steps=2,  
    gradient_checkpointing=True,  
    learning_rate=2e-5,  
    lr_scheduler_type="cosine",  
    max_steps=1000,  
    save_strategy="no",  
    logging_steps=1,  
    output_dir=new_model,  
    optim="paged_adamw_32bit",  
    warmup_steps=100,  
    bf16=True,  
    report_to="wandb",  
)  

# 创建 DPO 训练器  
dpo_trainer = DPOTrainer(  
    model,  
    ref_model,  
    args=training_args,  
    train_dataset=dataset,  
    tokenizer=tokenizer,  
    peft_config=peft_config,  
    beta=0.1,  
    max_prompt_length=1024,  
    max_length=1536,  
    force_use_ref_model=True  
)  

Open LLM 排行榜评估结果

详细结果可在此处查看 here!
汇总结果可在此处查看 here!