Hugging Face的标识

支持语言:

• 豪萨语
• 伊博语
• 尼日利亚皮钦语
• 约鲁巴语
• 多语种

尼日利亚推特情感分析-afriberta大模型

模型描述

naija-twitter-sentiment-afriberta-large是首个针对四种尼日利亚语言（豪萨语、伊博语、尼日利亚皮钦语和约鲁巴语）的多语言推特情感分类模型，基于微调的castorini/afriberta_large大模型构建。
该模型在NaijaSenti语料库训练中实现了推特情感分类任务的最先进性能。
模型经过训练可将推文分为3种情感类别：负面、中性和正面。
具体而言，本模型是在NaijaSenti数据集提供的4种尼日利亚语言数据集聚合基础上微调的xlm-roberta-large模型。

使用场景与限制

使用方法

您可通过Transformers库使用该模型进行情感分类：

from transformers import AutoModelForSequenceClassification
from transformers import AutoTokenizer
import numpy as np
from scipy.special import softmax

MODEL = "Davlan/naija-twitter-sentiment-afriberta-large"
tokenizer = AutoTokenizer.from_pretrained(MODEL)

# PT
model = AutoModelForSequenceClassification.from_pretrained(MODEL)

text = "我喜欢你"
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)
scores = output[0][0].detach().numpy()
scores = softmax(scores)

id2label = {0:"正面", 1:"中性", 2:"负面"}

ranking = np.argsort(scores)
ranking = ranking[::-1]
for i in range(scores.shape[0]):
    l = id2label[ranking[i]]
    s = scores[ranking[i]]
    print(f"{i+1}) {l} {np.round(float(s), 4)}")

局限性及偏差

该模型受限于其训练数据集和领域（即推特平台）。对于不同领域的应用场景可能泛化效果不佳。

训练过程

本模型在单块Nvidia RTX 2080 GPU上训练，采用原版NaijaSenti论文推荐的超参数。

测试集评估结果（F1分数），5次运行平均值

BibTeX条目及引用信息

@inproceedings{Muhammad2022NaijaSentiAN,
  title={NaijaSenti：面向多语言情感分析的尼日利亚推特情感语料库},
  author={Shamsuddeen Hassan Muhammad and David Ifeoluwa Adelani and Sebastian Ruder and Ibrahim Said Ahmad and Idris Abdulmumin and Bello Shehu Bello and Monojit Choudhury and Chris C. Emezue and Saheed Salahudeen Abdullahi and Anuoluwapo Aremu and Alipio Jeorge and Pavel B. Brazdil},
  year={2022}
}