🚀 Emo-MobileBERT：基于EmoContext数据集从头开始训练的精简版BERT LARGE模型

Emo-MobileBERT是BERT LARGE的精简版本，它基于EmoContext数据集从头开始训练。该模型在资源有限的设备上表现出色，能够在情感识别等下游任务中发挥重要作用。

📚 模型详情

MobileBERT详情

MobileBERT 模型由 Zhiqing Sun、Hongkun Yu、Xiaodan Song、Renjie Liu、Yiming Yang、Denny Zhou 等人在论文 MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices 中提出。以下是论文摘要：

自然语言处理（NLP）近年来通过使用数亿参数的大型预训练模型取得了巨大成功。然而，这些模型存在模型尺寸大、延迟高的问题，无法部署到资源有限的移动设备上。在本文中，我们提出了用于压缩和加速流行的BERT模型的MobileBERT。与原始的BERT一样，MobileBERT与任务无关，即它可以通过简单的微调广泛应用于各种下游NLP任务。从本质上讲，MobileBERT是BERT_LARGE的精简版本，同时配备了瓶颈结构，并在自注意力机制和前馈网络之间进行了精心设计的平衡。为了训练MobileBERT，我们首先训练了一个专门设计的教师模型，即结合了倒置瓶颈结构的BERT_LARGE模型。然后，我们将知识从这个教师模型转移到MobileBERT。实证研究表明，MobileBERT比BERT_BASE小4.3倍，速度快5.5倍，同时在知名基准测试中取得了有竞争力的结果。在GLUE的自然语言推理任务中，MobileBERT的GLUE分数达到77.7（比BERT_BASE低0.6），在Pixel 4手机上的延迟为62毫秒。在SQuAD v1.1/v2.0问答任务中，MobileBERT的开发集F1分数达到90.0/79.2（比BERT_BASE高1.5/2.1）。

下游任务详情（情感识别） - 数据集

SemEval - 2019任务3：文本中的上下文情感检测（EmoContext）

在这个数据集中，给定一个文本对话，即一个话语以及前两轮的上下文，目标是从四个情感类别中选择来推断该话语背后的情感：

• 悲伤 😢
• 快乐 😃
• 愤怒 😡
• 其他

💻 模型训练与使用

模型训练

训练脚本可在 此处 找到。

模型使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForSequenceClassification, pipeline

tokenizer = AutoTokenizer.from_pretrained("lordtt13/emo-mobilebert")

model = AutoModelForSequenceClassification.from_pretrained("lordtt13/emo-mobilebert")

nlp_sentence_classif = pipeline('sentiment-analysis', model = model, tokenizer = tokenizer)
nlp_sentence_classif("I've never had such a bad day in my life")
# 输出: [{'label': 'sad', 'score': 0.93153977394104}]

👨‍💻 开发者信息

本项目由 Tanmay Thakur 创建，你可以通过 LinkedIn 联系他。