---

许可证：MIT
基础模型：FacebookAI/xlm-roberta-base
标签：

• xlm-roberta-base
• 文本分类
• 抑郁症检测
• 心理健康
• 多语言
• transformers
  评估指标：
• 准确率
• 精确率
  模型索引：
• 名称：xlm-roberta-base-cls-depression
  结果：[]
  数据集：
• tyqiangz/multilingual-sentiments
• malexandersalazar/mental-health-depression
  支持语言：
• 英语
• 德语
• 法语
• 意大利语
• 葡萄牙语
• 西班牙语

抑郁症是当今全球最严峻的健康挑战之一。据世界卫生组织（2023年）统计，全球3.8%的人口（约2.8亿人）受其影响，使其成为致残的首要原因。这种影响在年轻群体中尤为严重——世卫数据显示半数心理健康问题始于14岁前，自杀更是15-29岁人群的第四大死因。

本多语言抑郁症检测模型通过先进自然语言处理技术，实现了对六种语言中抑郁指征的精准识别。基于Anthropic公司Claude 3.5 Sonnet生成的40,000+条表达训练而成，该模型在抑郁相关内容检测上具有高精确度。鉴于抑郁和焦虑每年造成全球经济损失达1万亿美元（世界银行，2023年），早期检测与干预工具显得尤为重要。

该模型已发布于Hugging Face平台，为心理健康监测支持系统提供生产级解决方案。

🌟 核心特性

• 多语言支持：支持6种语言文本处理（英、德、法、意、葡、西）
• 混合数据集构成：
  • 使用Claude 3.5 Sonnet (claude-3-5-sonnet-20241022) Message Batches API生成的抑郁主题数据
  • 整合"tyqiangz/multilingual-sentiments"数据集扩展情感覆盖
  • 四大维度的精细构建：
    • 语言（六种语言均衡分布）
    • 心理状态（健康vs非健康）
    • 心理类别（自我价值、未来展望等）
    • 文本长度（短语至长文本）
• 高性能：抑郁症检测达到前沿精确度
• 负责任AI：注重心理健康敏感性设计
• 便捷获取：发布于Hugging Face平台

📊 数据集分类

心理状态

• 健康
• 非健康

心理类别

• 自我价值
• 未来展望
• 社会影响
• 情绪韧性
• 自我反思/成长

支持语言

• 英语
• 德语
• 法语
• 意大利语
• 葡萄牙语
• 西班牙语

文本长度分类

• 3-8词
• 9-15词
• 16-35词
• 36-60词
• 61-90词

🛠️ 技术架构

数据生成与处理流程

1. 输入处理与类别定义

   • 核心数据集配置：
     • 语言支持设置
     • 心理状态（健康/非健康）
     • 带正负面描述的心理类别
     • 文本长度分布目标
   • 真实抑郁/抗逆案例收集

2. 动态提示与数据生成

   • 定制化提示工程：
     • 确保数据集平衡的核心类别
     • 随机特征分配（年龄、教育程度、正式度、语境）增强多样性
     • 真实案例选择保证可信度
   • 通过Message Batches API集成Claude 3.5 Sonnet (claude-3-5-sonnet-20241022)
   • 批处理提升生成效率

3. 外部数据集整合

   • 融合Hugging Face的tyqiangz/multilingual-sentiments数据集
   • 外部数据统一标记为"健康"心理状态
     • 依据：虽含负面情绪，但无临床抑郁或自杀倾向表达
   • 外部数据分层：
     • 语言（匹配六种支持语言）
     • 文本长度分类

4. 数据集合并与最终平衡

   • 抑郁主题生成数据与外部情感数据合并
   • 核心类别的多维分层：
     • 心理状态（生成非健康+生成健康+外部健康）
     • 心理类别
     • 语言
     • 文本长度
   • 质量检查与过滤
   • 最终分布验证与再平衡
     • 训练集：26208样本（70.0%）
     • 验证集：7488样本（20.0%）
     • 测试集：3745样本（10.0%）

数据生成摘要

总计生成37,441条动态文本。

1. 语言分布

• 西班牙语：6,612条（17.66%）
• 英语：6,565条（17.53%）
• 葡萄牙语：6,438条（17.2%）
• 法语：6,258条（16.71%）
• 德语：5,914条（15.8%）
• 意大利语：5,654条（15.1%）

2. 心理状态分布

• 健康：20,031条（53.5%）
• 非健康：17,410条（46.5%）

3. 心理类别分布

• 自我反思/成长：7,784条（20.79%）
• 自我价值：7,747条（20.69%）
• 情绪韧性：7,354条（19.64%）
• 未来展望：7,345条（19.62%）
• 社会影响：7,211条（19.26%）

4. 文本长度分布

• 3-8词：6,819条（18.21%）
• 9-15词：4,473条（11.95%）
• 16-35词：17,968条（47.99%）
• 36-60词：6,403条（17.1%）
• 61-90词：1,749条（4.67%）

注：外部情感数据集tyqiangz/multilingual-sentiments未计入本摘要。

数据集整合摘要

tyqiangz/multilingual-sentiments数据集提供了"健康"心理状态的基线样本（即使含负面情绪）。这些文本可能表达悲伤但无临床抑郁特征，需注意一般负面情绪与临床抑郁标记的区别。

分组	样本数	占比
训练集	8,028	70.0%
验证集	2,294	20.0%
测试集	1,147	10.0%
总计	11,469	100%

生成数据集mental_health_texts.csv (malexandersalazar/mental-health-depression)包含明确临床抑郁指征。"健康"类含正常情绪表达，"非健康"类则呈现典型抑郁症状。

分组	样本数	占比
训练集	26,208	70.0%
验证集	7,488	20.0%
测试集	3,745	10.0%
总计	37,441	100%

总数据集规模

• 训练集：34,236样本（70.0%）
• 验证集：9,782样本（20.0%）
• 测试集：4,892样本（10.0%）
• 总样本量：48,910

注：所有分组均保持语言、类别和文本长度的分层，确保各子集代表性。

模型开发

1. 基础模型：FacebookAI/xlm-roberta-base
2. 微调配置
   • 学习率：2e-5
   • 预热比例：0.1
   • 权重衰减：0.01
   • 训练轮次：10
   • 最优模型指标："精确率"
   • 批大小：64
   • 早停耐心值：5
   • 早停阈值：0.001
3. 优化流程
   • ONNX格式转换
   • 量化处理
   • 性能基准测试

📈 性能指标

模型指标

测试集评估结果：

PyTorch模型

• 准确率：0.9867
• 精确率：0.9799
• 召回率：0.9827
• F1分数：0.9813
• ROC-AUC分数：0.0927
• 平均推理时间：145.00毫秒
• 推理时间标准差：2.78毫秒

ONNX模型

• 准确率：0.9867
• 精确率：0.9799
• 召回率：0.9827
• F1分数：0.9813
• ROC-AUC分数：0.0927
• 平均推理时间：146.90毫秒
• 推理时间标准差：3.08毫秒

ONNX量化模型

• 准确率：0.9871
• 精确率：0.9811
• 召回率：0.9827
• F1分数：0.9819
• ROC-AUC分数：0.0679
• 平均推理时间：74.49毫秒
• 推理时间标准差：7.80毫秒

注：测试集保持与训练数据相同的语言、心理状态、类别和文本长度平衡分布，确保全方位稳健评估。

模型基准测试

• 测试数据集：thePixel42/depression-detection（纯英文数据集）
• 对比范围：仅基础模型，不包含更大模型（如RoBERTa-large变体）对比

性能对比

模型	准确率	精确率	召回率	F1分数
depression-reddit-distilroberta-base	0.7604	0.6937	0.9360	0.7968
xlm-roberta-base-cls-depression	0.7841	0.8458	0.6967	0.7640
finetuned-distil-bert-depression	0.7135	0.6475	0.9419	0.7674
finetuned-roberta-depression	0.6820	0.6164	0.9701	0.7538
distilroberta-base-finetuned-suicide-depression	0.5663	0.5605	0.6291	0.5928

xlm-roberta-base-cls-depression模型展现出卓越性能，在对比模型中取得最高准确率和精确率。值得注意的是，该模型在保持多语言能力的同时，性能优于英语专项模型，表明其跨语言抑郁检测的有效迁移学习能力。

🚀 快速开始

推理示例

from transformers import AutoModelForSequenceClassification, AutoTokenizer

# 从Hugging Face加载模型
model = AutoModelForSequenceClassification.from_pretrained("malexandersalazar/xlm-roberta-base-cls-depression")
tokenizer = AutoTokenizer.from_pretrained("FacebookAI/xlm-roberta-base")

# 标签/预测值说明：
# 1: 存在抑郁指征
# 0: 无抑郁指征

# 推理过程
text = "待检测文本"
inputs = tokenizer(
    text,
    padding="max_length",
    truncation=True,
    max_length=512,
    return_tensors="pt"
)
outputs = model(**inputs)
prediction = outputs.logits.argmax(-1).item()

📁 项目结构

xlm-roberta-base-cls-depression/
├── data/
│   ├── source/                 # 原始数据源
│   ├── raw/                    # 生成文本
│   ├── clean/                  # 处理后的数据集
│   ├── models/                 # 训练好的模型
│   └── dist/                   # 优化后的模型
├── notebooks/
│   ├── 1. generator.ipynb      # 数据集生成
│   ├── 2. pre_processor.ipynb  # 文本预处理
│   ├── 3. trainer.ipynb        # 模型训练
│   ├── 4. post_training.ipynb  # ONNX优化
│   └── 5. test.ipynb           # 模型测试
└── requirements.txt

⚠️ 伦理声明

本模型仅限研究支持用途，不可作为诊断工具或替代专业心理健康评估。实际诊断治疗请务必咨询合格心理健康专家。

负责任使用准则

1. 禁止用于医疗诊断
2. 确保用户隐私与数据保护
3. 注意文化与语言差异
4. 作为心理健康支持系统组成部分使用
5. 定期监测偏见与错误

📄 许可证

本项目采用MIT许可证，详见LICENSE文件。

🙏 致谢

• 《抑郁症：理解与克服》作者José Ramón Alonso——本书为理解抑郁症提供了宝贵洞见，助力构建负责任的数据生成方法
• 参与方法验证的心理健康专家
• HuggingFace社区，特别是tyqiangz/multilingual-sentiments数据集贡献者
• 提供各类工具库的开源社区

📚 引用规范

研究中使用本模型时请引用：

@software{malexandersalazar_xlm_roberta_base_cls_depression,
    author = {Alexander Salazar},
    title = {XLM-RoBERTa抑郁症检测模型},
    year = {2025},
    month = {1},
    url = {https://github.com/malexandersalazar/xlm-roberta-base-cls-depression},
    version = {1.0.0},
    date = {2025-01-03},
    abstract = {基于Claude 3.5 Sonnet (claude-3-5-sonnet-20241022) Message Batches API生成的40,000+条表达微调而成的多语言抑郁指征检测模型，具有高精确率，发布于Hugging Face平台。},
    keywords = {抑郁症检测, 心理健康, xlm-roberta, 多语言, 自然语言处理}
}

📧 联系方式

• 项目负责人 - Alexander Salazar