许可证：apache-2.0
库名称：peft
标签：

• 训练生成
• mistral
• 文本生成
• transformers
• 推理端点
• pytorch
• 文本生成推理
  基础模型：mistralai/Mistral-7B-Instruct-v0.2
  模型索引：
• 名称：mental-health-mistral-7b-instructv0.2-finetuned-V2
  结果：[]
  数据集：
• Amod/mental_health_counseling_conversations

心理健康-Mistral-7B-Instructv0.2-微调版-V2

该模型是基于mistralai/Mistral-7B-Instruct-v0.2在mental_health_counseling_conversations数据集上微调的版本。
在评估集上取得了以下结果：

• 损失：0.6432

模型描述

一个在心理健康对话语料库上微调的Mistral-7B-Instruct-v0.2模型，这些对话发生在心理学家和用户之间。
目的是创建一个名为"Connor"的心理健康助手，根据心理学家的回答来解答用户的问题。

训练与评估数据

该模型基于心理学家与来访者之间的心理健康对话语料库进行微调，形式为上下文-响应对。该数据集收集了两个在线咨询和治疗平台上的问题与答案，问题涵盖广泛的心理健康主题，答案由合格的心理学家提供。
数据集来源：

• Kaggle
• Huggingface

训练超参数

训练过程中使用的超参数如下：

• 学习率：0.0002
• 训练批次大小：8
• 评估批次大小：8
• 随机种子：42
• 优化器：Adam，参数为betas=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型：余弦
• 学习率预热比例：0.05
• 训练轮数：3
• 混合精度训练：原生AMP

训练结果

使用方法

import torch  
from transformers import AutoModelForCausalLM, AutoTokenizer  
from peft import PeftConfig, PeftModel  

base_model = "mistralai/Mistral-7B-Instruct-v0.2"  
adapter = "GRMenon/mental-health-mistral-7b-instructv0.2-finetuned-V2"  

# 加载分词器  
tokenizer = AutoTokenizer.from_pretrained(  
    base_model,  
    add_bos_token=True,  
    trust_remote_code=True,  
    padding_side='left'  
)  

# 使用基础模型和微调适配器创建peft模型  
config = PeftConfig.from_pretrained(adapter)  
model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path,  
                                             load_in_4bit=True,  
                                             device_map='auto',  
                                             torch_dtype='auto')  
model = PeftModel.from_pretrained(model, adapter)  

device = "cuda" if torch.cuda.is_available() else "cpu"  
model.to(device)  
model.eval()  

# 提示内容：  
messages = [  
    {"role": "user", "content": "嘿Connor！最近我感觉有点低落，能给我一些感觉好起来的建议吗？"}  
]  

input_ids = tokenizer.apply_chat_template(conversation=messages,  
                                          tokenize=True,  
                                          add_generation_prompt=True,  
                                          return_tensors='pt').to(device)  
output_ids = model.generate(input_ids=input_ids, max_new_tokens=512, do_sample=True, pad_token_id=2)  
response = tokenizer.batch_decode(output_ids.detach().cpu().numpy(), skip_special_tokens = True)  

# 模型响应：  
print(response[0])  

框架版本

• PEFT 0.7.1
• Transformers 4.36.1
• Pytorch 2.0.0
• Datasets 2.1.0
• Tokenizers 0.15.0