许可证：apache-2.0
标签：

• 训练生成
  指标：
• 准确率

模型索引：

• 名称：distilbert-base-uncased-finetuned-mnli-amazon-query-shopping
  结果：[]

distilbert-base-uncased-finetuned-mnli-amazon-query-shopping

该模型是基于nlptown/bert-base-multilingual-uncased-sentiment在亚马逊美国客户评论数据集上微调的版本。微调过程的代码可参见此处。该模型不区分大小写：例如"english"和"English"被视为相同。

在评估集上的表现如下：

• 损失：0.5202942490577698
• 准确率：0.8

模型描述

这是一个基于bert-base-multilingual-uncased的模型，针对六种语言（英语、荷兰语、德语、法语、西班牙语和意大利语）的产品评论情感分析进行了微调。它将评论的情感预测为星级（1至5星）。

该模型可直接用于上述六种语言中任意一种的产品评论情感分析任务，或进一步微调相关情感分析任务。

我们将其头部替换为针对客户评论的模块，在17,280行训练集上微调，并在4,320行开发集上验证。最终，我们在2,400行的测试集上评估了模型性能。

预期用途与限制

Bert-base主要适用于需要利用整个句子（可能包含掩码）进行决策的任务，如序列分类、标记分类或问答。此微调版本用于根据评论预测星级评分。

限制在于该训练模型专注于亚马逊上的评论和产品。若应用于其他领域，性能可能不佳。

使用方法

可通过以下代码直接下载训练好的权重和配置使用：

from transformers import AutoTokenizer, AutoModelForSequenceClassification  

tokenizer = AutoTokenizer.from_pretrained("LiYuan/amazon-review-sentiment-analysis")  

model = AutoModelForSequenceClassification.from_pretrained("LiYuan/amazon-review-sentiment-analysis")  

训练与评估数据

原始数据集可从Kaggle网站下载。

训练流程

训练超参数

训练期间使用的超参数如下：

• 学习率：2e-05
• 训练批次大小：16
• 评估批次大小：16
• 随机种子：42
• 优化器：Adam（beta=(0.9,0.999)，epsilon=1e-08）
• 学习率调度器类型：线性
• 训练轮次：2

训练结果

框架版本

• Transformers 4.18.0
• Pytorch 1.11.0+cu113
• Datasets 2.1.0
• Tokenizers 0.12.1