语言: 英语
标签:

• 文本分类
• TensorFlow
• RoBERTa
  数据集:
• go_emotions
  许可证: MIT

linkedin.com/in/arpanghoshal

GoEmotions 是什么

GoEmotions 是一个标注了 58,000 条 Reddit 评论的数据集，包含 28 种情感类别：

• 钦佩、娱乐、愤怒、烦恼、赞同、关心、困惑、好奇、渴望、失望、反对、厌恶、尴尬、兴奋、恐惧、感激、悲伤、快乐、爱、紧张、乐观、自豪、领悟、解脱、悔恨、悲伤、惊讶 + 中性

RoBERTa 是什么

RoBERTa 在 BERT 的语言掩码策略基础上进行了改进，调整了 BERT 的关键超参数，包括移除了 BERT 的下一个句子预训练目标，并使用更大的小批次和学习率进行训练。RoBERTa 的训练数据量比 BERT 多一个数量级，训练时间也更长。这使得 RoBERTa 的表征能力相比 BERT 在下游任务中表现更优。

超参数

结果

最佳 Macro F1 分数：49.30%

使用方法

from transformers import RobertaTokenizerFast, TFRobertaForSequenceClassification, pipeline  

tokenizer = RobertaTokenizerFast.from_pretrained("arpanghoshal/EmoRoBERTa")  
model = TFRobertaForSequenceClassification.from_pretrained("arpanghoshal/EmoRoBERTa")  

emotion = pipeline('sentiment-analysis',   
                  model='arpanghoshal/EmoRoBERTa')  

emotion_labels = emotion("Thanks for using it.")  
print(emotion_labels)  

输出

[{'label': 'gratitude', 'score': 0.9964383244514465}]