许可协议：Apache-2.0
基础模型：

• meta-llama/Llama-3.2-1B
  任务类型：问答

兼容CPU的心理健康对话模型

本仓库包含基于LLaMA微调的心理健康咨询对话模型。该模型能针对心理健康相关问题提供富有同理心的专业回复，支持在CPU和低内存设备上运行，具有广泛适用性。

核心特性

• 心理健康对话专项微调：基于专业心理健康支持数据集训练
• 低资源需求：仅需15GB内存，无需GPU即可运行
• 基于LLaMA 3.2 1B模型：继承LLaMA架构的优质生成能力
• 支持LoRA技术：支持低秩自适应微调，计算效率极高

模型信息

• 基础模型：meta-llama/Llama-3.2-1B-Instruct
• 训练数据集：Amod/心理健康咨询对话集
• 微调框架：Hugging Face Transformers

安装指南

1. 克隆仓库：

   git clone https://huggingface.co/<你的HF用户名>/mental-health-chatbot-model
   cd mental-health-chatbot-model
   

2. 安装依赖：

   pip install torch transformers datasets huggingface-hub
   

使用说明

加载模型

from transformers import AutoTokenizer, AutoModelForCausalLM

# 加载模型和分词器
model_name = "<你的HF用户名>/mental-health-chatbot-model"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 生成回复样例
input_text = "我感到很焦虑，不知道该怎么办"
inputs = tokenizer(input_text, return_tensors="pt")
response = model.generate(**inputs, max_length=256, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(response[0], skip_special_tokens=True))

兼容性

支持运行环境：

• 纯CPU设备
• 最低15GB内存配置

微调指南

如需自定义微调：

1. 准备Hugging Face格式数据集
2. 使用以下脚本：

from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    输出目录="./fine_tuned_model",
    每设备训练批次=4,
    训练轮次=3,
    评估策略="每轮",
    保存间隔=500,
    日志目录="./logs",
    学习率=5e-5,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=训练集,
    eval_dataset=验证集,
)

trainer.train()

训练参数

• 训练轮次：3
• 批次大小：4
• 学习率：5e-5
• 评估策略：每轮评估

许可声明

本项目采用Apache 2.0许可证。

致谢

• Meta 提供LLaMA基础模型
• Hugging Face 开源工具与数据集支持
• 心理健康对话数据集创建者