HeBERT：面向极性分析与情感识别的预训练BERT模型

HeBERT是基于希伯来语的预训练语言模型，采用谷歌BERT架构及BERT-Base配置(Devlin等, 2018)。

训练数据集

模型在三个数据集上进行训练：

1. 希伯来语版OSCAR(Ortiz, 2019)：约9.8GB数据，包含10亿单词和2080万条句子
2. 希伯来语维基百科快照：约650MB数据，含6300万单词和380万条句子
3. 本研究专门收集的用户生成情感数据（详见下文） 模型在下游任务中进行了情感识别和情绪分析评估。

用户生成情感数据说明

数据来自2020年1月至8月三大新闻网站的评论区，总量约150MB，含700万单词和35万条句子。其中4000条句子由众包标注（每句3-10名标注者），标注维度包括8种情绪（愤怒、厌恶、期待、恐惧、快乐、悲伤、惊讶、信任）和整体情感极性。通过克里彭多夫α系数(Krippendorff, 1970)验证标注一致性，保留α>0.7的句子。研究发现快乐、信任等情绪标注一致性较高，而期待、惊讶等复杂情绪存在较大分歧。

使用指南

掩码语言模型（可微调至各类下游任务）

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("avichr/heBERT")
model = AutoModel.from_pretrained("avichr/heBERT")

fill_mask = pipeline(
    "fill-mask",
    model="avichr/heBERT",
    tokenizer="avichr/heBERT"
)
fill_mask("הקורונה לקחה את [MASK] ולנו לא נשאר דבר.")

情感分类模型（仅极性分析）

sentiment_analysis = pipeline(
    "sentiment-analysis",
    model="avichr/heBERT_sentiment_analysis",
    tokenizer="avichr/heBERT_sentiment_analysis",
    return_all_scores=True
)
# 示例输出详见原文

模型已同步部署于AWS平台，更多信息请访问AWS代码库

命名实体识别模型

NER = pipeline(
    "token-classification",
    model="avichr/heBERT_NER",
    tokenizer="avichr/heBERT_NER",
)
NER('דויד לומד באוניברסיטה העברית שבירושלים')

持续更新

我们仍在优化模型并将同步更新此页面。当前仅发布情感极性分析功能，情绪识别模块将后续发布。项目代码库：https://github.com/avichaychriqui/HeBERT

引用格式

Chriqui, A., & Yahav, I. (2022). HeBERT & HebEMO: 希伯来语BERT模型及情感极性分析工具.《INFORMS数据科学期刊》（待刊）

@article{chriqui2021hebert,
  title={HeBERT \& HebEMO: 希伯来语BERT模型及情感极性分析工具},
  author={Chriqui, Avihay and Yahav, Inbal},
  journal={INFORMS数据科学期刊},
  year={2022}
}