语言:

• 英文 许可证: cc-by-nc-4.0 标签:
• 文本生成推理
• 转换器
• unsloth
• mistral
• trl 基础模型: alnrg2arg/blockchainlabs_7B_merged_test2_4_prune 数据集:
• Intel/orca_dpo_pairs

这是来自blockchainlab测试2.4的一个模型，经过合并处理 - alnrg2arg/blockchainlabs_7B_merged_test2_4_prune

该项目旨在为设备端用途开发一个小型LLM。

本次迭代的整体流程如下：

1. 合并以创建基础模型（7B）
2. 对模型进行剪枝以减少参数（50%稀疏度）
3. 选择DPO作为剪枝后的恢复阶段

此模型为剪枝后的版本。

以下是我为该模型（DPO）选择的代码和参数：

from transformers import TrainingArguments, AutoModelForCausalLM
from trl import DPOTrainer

dpo_trainer = DPOTrainer(
    model = model,
   
    ref_model = None,
    args = TrainingArguments(
        per_device_train_batch_size = 8,
        gradient_accumulation_steps = 8,
        warmup_ratio = 0.1,
        num_train_epochs = 3,
        learning_rate = 5e-6,
        fp16 = not torch.cuda.is_bf16_supported(),
        bf16 = torch.cuda.is_bf16_supported(),
        logging_steps = 1,
        optim = "adamw_8bit",
        weight_decay = 0.0,
        lr_scheduler_type = "linear",
        seed = 42,
        output_dir = "output_DPO",
    ),
    beta = 0.1,
    train_dataset = dataset,
    # eval_dataset = raw_datasets["test"],
    tokenizer = tokenizer,
    max_length = 1024,
    max_prompt_length = 512,
)

代码和参数参考自：https://colab.research.google.com/drive/1SKrKGV-BZoU4kv5q3g0jtE_OhRgPtrrQ?usp=sharing