语言:

• 英文 缩略图: https://avatars3.githubusercontent.com/u/32437151?s=460&u=4ec59abc8d21d5feea3dab323d23a5860e6996a4&v=4 标签:
• 文本分类
• 情感分析
• PyTorch 许可证: Apache-2.0 数据集:
• emotion 评估指标:
• 准确率, F1分数

Albert-base-v2-emotion

模型描述:

Albert是一种轻量级BERT架构，其参数量显著少于传统BERT架构。

Albert-base-v2在emotion数据集上使用HuggingFace Trainer进行微调，采用以下超参数：

学习率 2e-5，
批量大小 64，
训练轮数 8，

在Twitter情感数据集上的模型性能比较：

如何使用该模型：

from transformers import pipeline
classifier = pipeline("text-classification",model='bhadresh-savani/albert-base-v2-emotion', return_all_scores=True)
prediction = classifier("我喜欢使用transformers。最棒的是它支持广泛且易于使用", )
print(prediction)

"""
输出:
[[
{'label': 'sadness', 'score': 0.010403595864772797}, 
{'label': 'joy', 'score': 0.8902180790901184}, 
{'label': 'love', 'score': 0.042532723397016525}, 
{'label': 'anger', 'score': 0.041297927498817444}, 
{'label': 'fear', 'score': 0.011772023513913155}, 
{'label': 'surprise', 'score': 0.0037756056990474463}
]]
"""

数据集:

Twitter情感分析.

训练过程

Colab笔记本

评估结果

{
'测试准确率': 0.936,
 '测试F1分数': 0.9365658988006296,
 '测试损失': 0.15278364717960358,
 '测试运行时间': 10.9413,
 '每秒测试样本数': 182.794,
 '每秒测试步数': 2.925
 }

参考:

• 《使用Transformer进行自然语言处理》作者：Lewis Tunstall, Leandro von Werra, Thomas Wolf