许可证: mit
语言:

• 英语
  指标:
• f1
  标签:
• 医疗

简介

MentaLLaMA-chat-13B是MentaLLaMA项目的组成部分，这是首个具备指令跟随能力的可解释心理健康分析开源大语言模型系列。该模型基于Meta LLaMA2-chat-13B基础模型和完整IMHI指令调优数据微调而成，能够针对多种心理健康状况进行复杂分析，并为每项预测提供可靠解释。模型在包含7.5万条高质量自然语言指令的IMHI数据集上微调，显著提升了下游任务表现。我们在包含2万测试样本的IMHI基准测试中进行了全面评估，结果显示MentalLLaMA在准确性上接近最先进的判别式方法，并能生成高质量解释。

伦理考量

尽管MentaLLaMA在可解释心理健康分析中展现出优异性能，我们强调所有预测结果和生成解释仅限非临床研究使用，求助者应寻求专业精神科医生或临床医师的帮助。此外，近期研究表明大语言模型可能存在潜在偏见（如性别差异），同时某些错误预测结果、不当解释和过度泛化现象也揭示了当前模型的潜在风险。因此，将该模型应用于真实场景的心理健康监测系统仍面临诸多挑战。

MentaLLaMA系列其他模型

除MentaLLaMA-chat-13B外，本项目还包含以下模型：MentaLLaMA-chat-7B、MentalBART、MentalT5。

• MentaLLaMA-chat-7B：基于Meta LLaMA2-chat-7B基础模型和完整IMHI指令数据微调，训练数据涵盖10项心理健康分析任务。

• MentalBART：基于BART-large基础模型和完整IMHI补全数据微调，训练数据涵盖10项心理健康分析任务。该模型虽无指令跟随能力，但更轻量级，在基于补全模式的可解释心理健康分析中表现优异。

• MentalT5：基于T5-large基础模型和完整IMHI补全数据微调，训练数据涵盖10项心理健康分析任务。该模型虽无指令跟随能力，但更轻量级，在基于补全模式的可解释心理健康分析中表现优异。

使用方法

可通过Hugging Face Transformers库在Python项目中调用MentaLLaMA-chat-13B模型：

from transformers import LlamaTokenizer, LlamaForCausalLM  
tokenizer = LlamaTokenizer.from_pretrained('klyang/MentaLLaMA-chat-13B')  
model = LlamaForCausalLM.from_pretrained('klyang/MentaLLaMA-chat-13B', device_map='auto')  

本示例中，LlamaTokenizer用于加载分词器，LlamaForCausalLM用于加载模型。device_map='auto'参数可实现GPU自动调用。

许可证

MentaLLaMA-chat-13B采用MIT许可证，详见MIT文件。

引用

若使用MentaLLaMA-chat-7B，请引用我们的论文：

@misc{yang2023mentalllama,  
      title={MentalLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models},   
      author={Kailai Yang and Tianlin Zhang and Ziyan Kuang and Qianqian Xie and Sophia Ananiadou},  
      year={2023},  
      eprint={2309.13567},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL}  
}