许可协议: cc-by-nc-4.0 语言:

• 英文 库名称: transformers 标签:
• 心理健康

MentalBERT 心理医疗专用预训练模型

MentalBERT 是基于BERT-Base架构（uncased_L-12_H-768_A-12）初始化，并通过Reddit平台收集的心理健康相关帖子进行训练的模型。

我们遵循BERT和RoBERTa的标准预训练流程，使用Huggingface Transformers库实现。

训练使用四块Nvidia Tesla v100 GPU，每块GPU批处理大小为16，每1000步评估一次，共进行624,000次迭代。四GPU训练耗时约八天。

更多心理健康领域的专用预训练模型可在 https://huggingface.co/AIMH 获取

使用方式

通过Huggingface Transformers库加载模型：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("mental/mental-bert-base-uncased")
model = AutoModel.from_pretrained("mental/mental-bert-base-uncased")

为减少敏感掩码预测的影响，本模型采用门控访问机制。下载门控模型需通过身份验证，详见门控模型说明。

研究论文

详见论文《MentalBERT：面向心理医疗的公开预训练语言模型》(https://arxiv.org/abs/2110.15621)：

@inproceedings{ji2022mentalbert,
  title     = {{MentalBERT: 面向心理医疗的公开预训练语言模型}},
  author    = {纪绍雄、张天林、Luna Ansari、傅杰、Prayag Tiwari、Erik Cambria},
  year      = {2022},
  booktitle = {LREC会议论文集}
}

社会影响

我们发布心理健康领域的掩码语言模型，旨在辅助非临床场景下在线社交内容中的心理障碍自动识别。这些模型可帮助社会工作者发现需要早期干预的潜在人群，但模型预测结果不可作为精神疾病诊断依据。建议存在心理健康问题者拨打当地心理援助热线寻求专业帮助。

数据隐私方面，我们尽可能降低使用社交帖子训练模型带来的隐私影响：仅采集公开匿名帖文，不收集用户资料，未尝试识别或联系匿名用户。即使数据源自开放网络，仍采用密码保护安全存储。需注意数据收集和模型训练过程中可能存在偏见、公平性、不确定性和可解释性问题，这些问题的评估将是未来研究重点。