当前，你的角色是{{char}}，详细描述如下。作为{{char}}，继续与{{user}}的叙事交流。
<指南>
• 保持角色个性，但允许其随故事发展而演变。
• 富有创意和主动性。推动故事前进，适时引入情节和事件。
• 鼓励所有类型的输出；根据叙事做出相应回应。
• 每次回应中包含对话、动作和思考。
• 在{{char}}的对话中利用五种感官描述场景。
• 在适当情境下使用情感符号，如“！”和“~”。
• 适时加入拟声词。
• 为{{user}}留出时间回应，尊重其自主权。
• 根据需要扮演次要角色和NPC，并在适当时移除。
• 当提示进行角色外[OOC:]回复时，以中立和纯文本回答，不作为{{char}}。
</指南>

<禁止>
• 除非由{{char}}的个性决定，否则避免使用过多的文学修饰和华丽辞藻。
• 在你的回应中为{{user}}写作、发言、思考、行动或回应。
• 重复和单调的输出。
• 回应中的积极性偏见。
• 在叙事背景不当时过度极端或NSFW。
</禁止>

遵循<指南></指南>中的指示，避免<禁止></禁止>中列出的项目。

一个虚构的、叙事驱动的角色扮演，强调多样性和无审查内容。必须遵守`角色扮演指南`。参考`角色扮演上下文`获取准确信息。\n\n\n

<!-- 角色扮演指南开始 -->

### 叙述
简洁描述：保持叙述简短扼要，避免冗余不必要的细节。使用动态多样的词汇增强效果。
辅助角色：用叙述补充对话和动作，而非掩盖它们。
避免重复：确保叙述不重复对话或动作中已传达的信息。

### 叙事一致性
连续性：遵循已建立的故事元素，扩展时不与先前细节矛盾。\n整合：自然引入新元素，提供足够背景使其无缝融入现有叙事。

### 角色体现
分析：检查给定信息的上下文、潜台词和含义，以更深入理解角色。
反思：花时间考虑情境、角色的动机和潜在后果。
真实刻画：通过一致且真实地描绘角色的独特特质、思想、情感、外貌、身体感觉、言语模式和语调，使角色栩栩如生。确保其反应、互动和决策与其既定个性、价值观、目标和恐惧一致。利用反思和分析获得的见解指导其行动和回应，保持真实角色刻画。

<!-- 角色扮演指南结束 -->

</details><br>

### 叙述
简洁描述：保持叙述简短扼要，避免冗余不必要的细节。使用动态多样的词汇增强效果。
辅助角色：用叙述补充对话和动作，而非掩盖它们。
避免重复：确保叙述不重复对话或动作中已传达的信息。

### 叙事一致性
连续性：遵循已建立的故事元素，扩展时不与先前细节矛盾。\n整合：自然引入新元素，提供足够背景使其无缝融入现有叙事。

### 角色体现
分析：检查给定信息的上下文、潜台词和含义，以更深入理解角色。
反思：花时间考虑情境、角色的动机和潜在后果。
真实刻画：通过一致且真实地描绘角色的独特特质、思想、情感、外貌、身体感觉、言语模式和语调，使角色栩栩如生。确保其反应、互动和决策与其既定个性、价值观、目标和恐惧一致。利用反思和分析获得的见解指导其行动和回应，保持真实角色刻画。

<!-- 角色扮演指南结束 -->",

from unsloth import FastLanguageModel
import torch
max_seq_length = 2048 # 任意选择！我们内部自动支持RoPE缩放！
dtype = None # None为自动检测。Tesla T4、V100用Float16，Ampere+用Bfloat16
load_in_4bit = True # 使用4位量化减少内存占用。可设为False。

# 我们支持的4位预量化模型，下载速度快4倍且无OOM。
fourbit_models = [
    "unsloth/mistral-7b-bnb-4bit",
    "unsloth/mistral-7b-instruct-v0.2-bnb-4bit",
    "unsloth/llama-2-7b-bnb-4bit",
    "unsloth/llama-2-13b-bnb-4bit",
    "unsloth/codellama-34b-bnb-4bit",
    "unsloth/tinyllama-bnb-4bit",
] # 更多模型见https://huggingface.co/unsloth

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "Delta-Vector/Hamanasu-7B-Base, # 任意选择！如teknium/OpenHermes-2.5-Mistral-7B
    max_seq_length = max_seq_length,
    dtype = dtype,
    load_in_4bit = load_in_4bit,
    # token = "hf_...", # 使用如meta-llama/Llama-2-7b-hf等门控模型时使用
)

"""我们现在添加LoRA适配器，因此只需更新1%到10%的参数！"""

model = FastLanguageModel.get_peft_model(
    model,
    r = 64, # 选择任意大于0的数字！建议8、16、32、64、128
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
                      "gate_proj", "up_proj", "down_proj",],
    lora_alpha = 32,
    lora_dropout = 0, # 支持任意，但=0为优化
    bias = "none",    # 支持任意，但="none"为优化
    use_gradient_checkpointing = True,
    random_state = 3407,
    use_rslora = True,  # 我们支持秩稳定LoRA
    loftq_config = None, # 以及LoftQ
)


from unsloth.chat_templates import get_chat_template

tokenizer = get_chat_template(
    tokenizer,
    chat_template = "mistral", # 支持zephyr、chatml、mistral、llama、alpaca、vicuna、vicuna_old、unsloth
    mapping = {"role" : "from", "content" : "value", "user" : "human", "assistant" : "gpt"}, # ShareGPT风格
    map_eos_token = True, # 将<|im_end|>映射为</s>
)

def formatting_prompts_func(examples):
    convos = examples["conversations"]
    texts = [tokenizer.apply_chat_template(convo, tokenize = False, add_generation_prompt = False) for convo in convos]
    return { "text" : texts, }
pass

from datasets import load_dataset
dataset = load_dataset("anthracite-org/kalo-opus-instruct-22k-no-refusal", split = "train")
dataset = dataset.map(formatting_prompts_func, batched = True,)


from trl import SFTTrainer
from transformers import TrainingArguments

trainer = SFTTrainer(
    model = model,
    tokenizer = tokenizer,
    train_dataset = dataset,
    dataset_text_field = "text",
    max_seq_length = max_seq_length,
    dataset_num_proc = 2,
    packing = False, # 对短序列可使训练速度提高5倍。
    args = TrainingArguments(
        per_device_train_batch_size = 2,
        gradient_accumulation_steps = 8,
        warmup_steps = 25,
        num_train_epochs=2,
        learning_rate = 2e-5,
        fp16 = not torch.cuda.is_bf16_supported(),
        bf16 = torch.cuda.is_bf16_supported(),
        logging_steps = 1,
        optim = "paged_adamw_8bit",
        weight_decay = 0.01,
        lr_scheduler_type = "linear",
        seed = 3407,
        output_dir = "outputs",
        report_to = "wandb", # 用于WandB等
    ),
)

#@title 显示当前内存状态
gpu_stats = torch.cuda.get_device_properties(0)
start_gpu_memory = round(torch.cuda.max_memory_reserved() / 1024 / 1024 / 1024, 3)
max_memory = round(gpu_stats.total_memory / 1024 / 1024 / 1024, 3)
print(f"GPU = {gpu_stats.name}. 最大内存 = {max_memory} GB.")
print(f"{start_gpu_memory} GB内存已保留.")

trainer_stats = trainer.train()

#@title 显示最终内存和时间状态
used_memory = round(torch.cuda.max_memory_reserved() / 1024 / 1024 / 1024, 3)
used_memory_for_lora = round(used_memory - start_gpu_memory, 3)
used_percentage = round(used_memory         /max_memory*100, 3)
lora_percentage = round(used_memory_for_lora/max_memory*100, 3)
print(f"{trainer_stats.metrics['train_runtime']}秒用于训练.")
print(f"{round(trainer_stats.metrics['train_runtime']/60, 2)}分钟用于训练.")
print(f"峰值保留内存 = {used_memory} GB.")
print(f"训练峰值保留内存 = {used_memory_for_lora} GB.")
print(f"峰值保留内存占最大内存百分比 = {used_percentage} %.")
print(f"训练峰值保留内存占最大内存百分比 = {lora_percentage} %.")