ReviewBERT

基于评论语料库进行（后训练）BERT模型，用于理解情感、选项及各类电商相关维度。

BERT_Review是一个跨领域（不局限于笔记本电脑和餐厅）的语言模型，通过随机混合领域的样本进行后训练（微调），训练数据结合了亚马逊5-core评论和全部Yelp数据集，总量预计达22GB。该模型基于bert-base-uncased进行了4个epoch的训练。 预处理代码参见此处。

模型描述

基础模型源自基于Wikipedia+BookCorpus训练的BERT-base-uncased版本。
后训练数据来源于亚马逊数据集和Yelp数据集。

使用说明

加载后训练权重非常简单，例如：

import torch
from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("activebus/BERT_Review")
model = AutoModel.from_pretrained("activebus/BERT_Review")

评估结果

参考我们的NAACL论文
BERT_Review在领域特定任务（如方面抽取）上预计与BERT-DK表现相当，但在跨领域任务（如方面情感分类）上表现更优（不同领域通常共享相似的情感词汇）。

引用

若此工作对您有帮助，请引用如下文献：

@inproceedings{xu_bert2019,
    title = "BERT Post-Training for Review Reading Comprehension and Aspect-based Sentiment Analysis",
    author = "Xu, Hu and Liu, Bing and Shu, Lei and Yu, Philip S.",
    booktitle = "Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics",
    month = "jun",
    year = "2019",
}