🚀 现代BERT情感多标签分类模型

本模型基于现代BERT架构，可对英文文本进行情感多标签分类，能预测28种不同的情感状态，适用于社交媒体情感分析、客户反馈评估等领域。

🚀 快速开始

本模型是基于 ModernBERT-large 在 GoEmotions 数据集上微调得到的，用于多标签分类任务，可预测文本中的情感状态，共有28种可能的标签。每个输入文本可以有一个或多个相关标签，体现了该任务的多标签性质。

你可以点击这里进行试用。

✨ 主要特性

• 多标签分类：能够同时预测文本中的多种情感状态。
• 基于现代BERT：利用强大的预训练模型进行微调。
• 广泛应用：适用于社交媒体、客户反馈等领域。

📦 模型详情

💻 使用示例

基础用法

以下是如何使用Hugging Face Transformers库调用该模型的示例代码：

from transformers import pipeline
import torch

# 加载模型
classifier = pipeline(
    "text-classification", 
    model="cirimus/modernbert-large-go-emotions",
    top_k=5
)

text = "I am so happy and excited about this opportunity!"
predictions = classifier(text)

# 打印前5个检测到的情绪
sorted_preds = sorted(predictions[0], key=lambda x: x['score'], reverse=True)
top_5 = sorted_preds[:5]

print("\nTop 5 emotions detected:")
for pred in top_5:
    print(f"\t{pred['label']:10s} : {pred['score']:.3f}")

# 示例输出:
# Top 5 emotions detected:
#        joy        : 0.784
#        excitement : 0.735
#        admiration : 0.013
#        gratitude  : 0.003
#        amusement  : 0.003

📚 详细文档

模型创建过程

该模型使用以下超参数进行了3个epoch的微调：

• 学习率：2e-5
• 批次大小：16
• 权重衰减：0.01
• 优化器：AdamW
• 评估指标：精确率、召回率、F1分数（加权）、准确率

数据集

GoEmotions 数据集是一个基于Reddit评论的多标签情感分类数据集，包含58,000个示例和28种情感标签（如钦佩、愉悦、愤怒等），并进行了多标签分类标注。

评估结果

模型在GoEmotions数据集的测试集上进行了评估，使用0.5的阈值对预测结果进行二值化处理。整体指标如下：

标准结果

使用默认阈值0.5：

最优结果

根据训练集为每个标签选择最佳阈值（基于F1分数进行调整），并在测试集上进行测试：

预期用途

该模型旨在对英文文本进行情感分类，尤其适用于以下领域：

• 社交媒体情感分析
• 客户反馈评估
• 行为或心理学研究

局限性和偏差

⚠️ 重要提示

• 数据偏差：数据集基于Reddit评论，可能无法很好地推广到其他领域或文化背景。
• 类别样本不足：某些标签（如“悲痛”和“宽慰”）的示例非常少，导致这些类别的性能较低。
• 标注歧义：部分训练数据存在标注不一致或歧义的情况，可能会影响预测结果。

环境影响

• 使用的硬件：NVIDIA RTX4090
• 训练时间：<1小时
• 碳排放：约0.06 kg CO2（通过 ML CO2 Impact Calculator 计算）

📄 许可证

本模型采用 MIT 许可证。

引用

如果您使用此模型，请按以下方式引用：

@inproceedings{JdFE2025c,
  title = {Emotion Classification with ModernBERT},
  author = {Enric Junqu\'e de Fortuny},
  year = {2025},
  howpublished = {\url{https://huggingface.co/cirimus/modernbert-large-go-emotions}},
}