语言:

• 英文 标签:
• 心理健康 许可证: apache-2.0 数据集:
• PubMed

心理搜索(Psych-Search)

心理搜索是一项将前沿自然语言处理技术引入心理健康从业者领域的持续开发项目。本模型作为传统分类模型和自然语言理解模型的基础架构，专为心理搜索应用程序设计。该应用旨在结合传统文本分类模型扩展MESH分类体系，新增适用于美国青少年自杀预防项目的心理健康相关类别，并实现风险因素与保护因素等实体的自动抽取与标准化。

我们对MESH分类体系的首批扩展包括以下类别：

• 预防策略
• 保护因素

我们正在积极寻求项目合作伙伴，欢迎联系nlp4good@gmail.com！

模型描述

本模型基于allenai/scibert_scivocab_uncased进行扩展开发。以SciBERT为基础模型，使用PubMed数据库中仅限心理学与精神病学领域的论文摘要进行持续预训练。训练数据约350万篇论文，训练10个epoch，并在类似BioASQ Task A的任务上进行评估。

使用场景与限制

调用方式

from transformers import AutoTokenizer, AutoModel

mname = "nlp4good/psych-search"
tokenizer = AutoTokenizer.from_pretrained(mname)
model = AutoModel.from_pretrained(mname)

局限性及偏差

本模型训练数据涵盖PubMed中心理学与精神病学分类下的所有摘要（截至3月1日约320万篇含摘要的论文）。针对部分稀疏心理健康类别，采用回译技术增强数据代表性。

数据集存在显著不平衡问题，例如性与性别少数群体相关论文数量差异：

MESH分类中的种族群体同样存在不平衡：

这些数据偏差可能对信息检索系统、下游机器学习模型及其他依赖预训练模型的NLP应用产生重大影响。

训练数据

核心训练数据为PubMed心理学与精神病学分类下的320万篇论文摘要。针对以下稀疏类别额外通过英法互译回译技术增强数据：

• 抑郁症
• 风险因素
• 精神障碍
• 学龄前儿童
• 心理健康

该过程总计新增557,980篇训练样本。

训练流程

在心理学与精神病学论文摘要上持续预训练10个epoch。除梯度累积步数设为4（单设备批次32）外均采用默认参数，使用2块Nvidia 3090显卡完成训练。

评估结果

通过微调模型完成类似BioASQ Task A的任务进行评估，采用心理学与精神病学分类下38个二级MESH描述符的微平均F1分数：

后续计划

我们致力于将最先进的NLP技术引入研究不足的领域，心理健康是我们的首要方向。如有合作意向或建议，请联系nlp4good@gmail.com。