语言: 中文 数据集:

• 情感识别 小部件示例:
• 文本: "我希望你在这里但这不可能"

基于T5-base微调的情感识别模型 😂😢😡😃😯

谷歌T5基础模型在情感识别数据集上微调，用于情感识别下游任务。

T5模型详情

T5模型由Colin Raffel, Noam Shazeer等在论文《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》中提出，摘要如下：

迁移学习通过先在数据丰富的任务上预训练模型，再在下游任务上微调，已成为自然语言处理（NLP）中的强大技术。其有效性催生了多样化的方法、方法论和实践。本文通过将每个语言问题转换为文本到文本格式的统一框架，系统比较了数十项语言理解任务中的预训练目标、架构、无标签数据集和迁移方法等因素。结合探索成果与大规模"Colossal Clean Crawled Corpus"数据集，我们在摘要、问答、文本分类等多项基准测试中取得了最先进的结果。为促进NLP迁移学习的未来研究，我们公开了数据集、预训练模型和代码。

下游任务（情感识别）详情 - 数据集 📚

Elvis Saravia收集了优秀的情感识别数据集，可将文本分类为以下6种情感：

• 悲伤 😢
• 快乐 😃
• 爱意 🥰
• 愤怒 😡
• 恐惧 😱
• 惊讶 😯

模型微调过程 🏋️‍

训练脚本基于Suraj Patil创建的Colab笔记本稍作修改，荣誉归其所有。

测试集指标 🧾

模型实战演示 🚀

from transformers import AutoTokenizer, AutoModelWithLMHead

tokenizer = AutoTokenizer.from_pretrained("mrm8488/t5-base-finetuned-emotion")

model = AutoModelWithLMHead.from_pretrained("mrm8488/t5-base-finetuned-emotion")

def get_emotion(text):
  input_ids = tokenizer.encode(text + '</s>', return_tensors='pt')

  output = model.generate(input_ids=input_ids,
               max_length=2)
  
  dec = [tokenizer.decode(ids) for ids in output]
  label = dec[0]
  return label
  
 get_emotion("感觉好久没认真写博客了，现在只是随便更新") # 输出: 'joy'
 
 get_emotion("我觉得可能失去了最好的朋友") # 输出: 'sadness'

由Manuel Romero/@mrm8488创建 | 领英主页

西班牙制造，用❤️倾注