语言: 英语
许可证: MIT
任务标签: 文本分类
标签:

• 文本分类
• 变形金刚模型
• PyTorch
• 多标签分类
• 多类别分类
• 情感
• BERT
• go_emotions
• 情感分类
  数据集:
• google-research-datasets/go_emotions
  评估指标:
• F1分数
• 精确率
• 召回率
  示例:
• 文本: 我今天就是放松一下。
  示例标题: 中性示例
• 文本: 谢谢你救了我的命！
  示例标题: 感激示例
• 文本: 我对明天的考试感到紧张。
  示例标题: 紧张示例
  基础模型:
• google-bert/bert-base-uncased

GoEmotions BERT分类器

基于bert-base-uncased微调，用于go_emotions的多标签分类（28种情感）。

模型详情

• 架构: BERT-base-uncased（1.1亿参数）
• 训练数据: GoEmotions（5.8万条Reddit评论，28种情感）
• 损失函数: 焦点损失（gamma=2）
• 优化器: AdamW（学习率=2e-5，权重衰减=0.01）
• 训练轮数: 5
• 硬件: Kaggle T4 x2 GPU

试用

为了获得使用优化阈值的准确预测，请访问Gradio演示。

性能

• 微平均F1: 0.6025（优化阈值）
• 宏平均F1: 0.5266
• 精确率: 0.5425
• 召回率: 0.6775
• 汉明损失: 0.0372
• 平均正预测数: 1.4564

分类性能

下表展示了使用优化阈值（见thresholds.json）在测试集上的各类别指标：

使用方法

该模型使用存储在thresholds.json中的优化阈值进行预测。Python示例：

from transformers import BertForSequenceClassification, BertTokenizer  
import torch  
import json  
import requests  

# 加载模型和分词器  
repo_id = "logasanjeev/goemotions-bert"  
model = BertForSequenceClassification.from_pretrained(repo_id)  
tokenizer = BertTokenizer.from_pretrained(repo_id)  

# 加载阈值  
thresholds_url = f"https://huggingface.co/{repo_id}/raw/main/thresholds.json"  
thresholds_data = json.loads(requests.get(thresholds_url).text)  
emotion_labels = thresholds_data["emotion_labels"]  
thresholds = thresholds_data["thresholds"]  

# 预测  
text = "我今天就是放松一下。"  
encodings = tokenizer(text, padding='max_length', truncation=True, max_length=128, return_tensors='pt')  
with torch.no_grad():  
    logits = torch.sigmoid(model(**encodings).logits).numpy()[0]  
predictions = [(emotion_labels[i], logit) for i, (logit, thresh) in enumerate(zip(logits, thresholds)) if logit >= thresh]  
print(sorted(predictions, key=lambda x: x[1], reverse=True))  
# 输出: [('neutral', 0.8147)]