HebEMO - 现代希伯来语情感识别模型

HebEMO是一款用于检测极性并从现代希伯来语用户生成内容（UGC）中提取情感的工具，该工具基于我们收集和标注的独特新冠相关数据集训练而成。

在极性分类任务中，HebEMO取得了加权平均F1分数=0.96的高性能表现。情感检测方面，除惊讶情绪（F1=0.41）外，其他情绪的F1分数达到0.78-0.97。这些结果优于目前最佳报告性能，甚至超越英语语言的同类模型。

情感UGC数据描述

我们的UGC数据包含2020年1月至2020年8月期间从以色列三大新闻网站收集的新闻评论，总数据量约150MB，包含超过700万词和35万条句子。约2000条句子经过众包标注（每条句子3-10名标注者），标注内容包括整体情感（极性）和八种基本情绪：愤怒、厌恶、期待、恐惧、快乐、悲伤、惊讶和信任。下表展示了各情绪在句子中的出现比例。

性能表现

情感识别

上述指标针对积极类别（即文本中反映该情绪的情况）

情感（极性）分析

情感（极性）分析模型已在AWS上线！更多信息请访问AWS git仓库

使用方法

情感识别模型

在线模型可访问huggingface空间或colab笔记本

# !pip install pyplutchik==0.0.7
# !pip install transformers==4.14.1

!git clone https://github.com/avichaychriqui/HeBERT.git
from HeBERT.src.HebEMO import *
HebEMO_model = HebEMO()

HebEMO_model.hebemo(input_path = 'data/text_example.txt')
# 返回分析后的pandas.DataFrame  

hebEMO_df = HebEMO_model.hebemo(text='生活美好而幸福', plot=True)

情感分类模型（仅极性）：

from transformers import AutoTokenizer, AutoModel, pipeline

tokenizer = AutoTokenizer.from_pretrained("avichr/heBERT_sentiment_analysis") #与'avichr/heBERT'相同分词器
model = AutoModel.from_pretrained("avichr/heBERT_sentiment_analysis")

# 使用方法
sentiment_analysis = pipeline(
    "sentiment-analysis",
    model="avichr/heBERT_sentiment_analysis",
    tokenizer="avichr/heBERT_sentiment_analysis",
    return_all_scores = True
)

sentiment_analysis('我在犹豫午餐吃什么')	
>>>  [[{'label': 'neutral', 'score': 0.9978172183036804},
>>>  {'label': 'positive', 'score': 0.0014792329166084528},
>>>  {'label': 'negative', 'score': 0.0007035882445052266}]]

sentiment_analysis('咖啡很好喝')
>>>  [[{'label': 'neutral', 'score': 0.00047328314394690096},
>>>  {'label': 'possitive', 'score': 0.9994067549705505},
>>>  {'label': 'negetive', 'score': 0.00011996887042187154}]]

sentiment_analysis('我不喜欢这个世界')
>>>  [[{'label': 'neutral', 'score': 9.214012970915064e-05}, 
>>>  {'label': 'possitive', 'score': 8.876807987689972e-05}, 
>>>  {'label': 'negetive', 'score': 0.9998190999031067}]]

联系我们

Avichay Chriqui
Inbal yahav
Coller闪族语言人工智能实验室
感谢您，תודה（希伯来语感谢），شكرا（阿拉伯语感谢）

若使用本模型请引用：

Chriqui, A., & Yahav, I. (2022). HeBERT & HebEMO: 希伯来语BERT模型及极性分析与情感识别工具. INFORMS数据科学期刊，即将出版。

@article{chriqui2021hebert,
  title={HeBERT \& HebEMO: 希伯来语BERT模型及极性分析与情感识别工具},
  author={Chriqui, Avihay and Yahav, Inbal},
  journal={INFORMS数据科学期刊},
  year={2022}
}