许可协议：cc-by-nc-4.0
语言：

• 英文
  库名称：transformers
  标签：
• 心理健康

MentalRoBERTa

MentalRoBERTa 是一个基于 RoBERTa-Base（cased_L-12_H-768_A-12）初始化，并通过从 Reddit 收集的心理健康相关帖子进行训练的模型。

我们遵循 BERT 和 RoBERTa 的标准预训练协议，使用 Huggingface 的 Transformers 库 进行训练。

我们使用四块 Nvidia Tesla v100 GPU 训练这两个语言模型。每块 GPU 的批次大小设置为 16，每 1,000 步评估一次，共训练 624,000 次迭代。使用四块 GPU 训练大约需要八天时间。

更多针对心理健康领域的预训练模型可在 https://huggingface.co/AIMH 获取。

使用方法

通过 Huggingface 的 Transformers 库 加载模型：

from transformers import AutoTokenizer, AutoModel  
tokenizer = AutoTokenizer.from_pretrained("mental/mental-roberta-base")  
model = AutoModel.from_pretrained("mental/mental-roberta-base")  

为了最小化掩码预测的潜在影响，该模型为门控模型。下载门控模型需要进行身份验证。
了解更多关于 门控模型 的信息。

论文

更多细节请参阅论文 MentalBERT: Publicly Available Pretrained Language Models for Mental Healthcare。

@inproceedings{ji2022mentalbert,  
  title     = {{MentalBERT: Publicly Available Pretrained Language Models for Mental Healthcare}},  
  author    = {Shaoxiong Ji and Tianlin Zhang and Luna Ansari and Jie Fu and Prayag Tiwari and Erik Cambria},  
  year      = {2022},  
  booktitle = {Proceedings of LREC}  
}  

社会影响

我们训练并发布了针对心理健康领域的掩码语言模型，以促进非临床用途的在线社交内容中精神障碍的自动检测。
这些模型可能帮助社会工作者发现需要早期干预的潜在个体。
然而，模型的预测并非精神病学诊断。
我们建议任何受心理健康问题困扰的人拨打当地心理健康热线，并在可能的情况下寻求专业帮助。

数据隐私是一个重要问题，我们在使用社交帖子进行模型训练时尽量降低隐私影响。
在数据收集过程中，我们仅使用公开可用的匿名帖子。
即使在线用户资料也是公开的，我们也不会收集这些信息。
我们未尝试识别匿名用户或与任何匿名用户互动。
收集的数据即使来自开放网络，也会通过密码保护安全存储。
在数据收集和模型训练过程中可能存在一些偏见、公平性、不确定性和可解释性问题。
未来研究中对这些问题的评估至关重要。