🚀 distilbert-based多语言情感分类模型

本模型是一个基于distilbert的多语言情感分类模型，可支持多种语言的情感分析，广泛应用于社交媒体监测、客户反馈分析等多个领域，能有效提升全球业务的情感洞察能力。

🚀 快速开始

使用管道（pipelines），仅需4行代码：

from transformers import pipeline

# Load the classification pipeline with the specified model
pipe = pipeline("text-classification", model="tabularisai/multilingual-sentiment-analysis")

# Classify a new sentence
sentence = "I love this product! It's amazing and works perfectly."
result = pipe(sentence)

# Print the result
print(result)

以下是一个不使用管道的Python示例，展示如何使用多语言情感模型：

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model_name = "tabularisai/multilingual-sentiment-analysis"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

def predict_sentiment(texts):
    inputs = tokenizer(texts, return_tensors="pt", truncation=True, padding=True, max_length=512)
    with torch.no_grad():
        outputs = model(**inputs)
    probabilities = torch.nn.functional.softmax(outputs.logits, dim=-1)
    sentiment_map = {0: "Very Negative", 1: "Negative", 2: "Neutral", 3: "Positive", 4: "Very Positive"}
    return [sentiment_map[p] for p in torch.argmax(probabilities, dim=-1).tolist()]

texts = [
    # English
    "I absolutely love the new design of this app!", "The customer service was disappointing.", "The weather is fine, nothing special.",
    # Chinese
    "这家餐厅的菜味道非常棒！", "我对他的回答很失望。", "天气今天一般。",
    # Spanish
    "¡Me encanta cómo quedó la decoración!", "El servicio fue terrible y muy lento.", "El libro estuvo más o menos.",
    # Arabic
    "الخدمة في هذا الفندق رائعة جدًا!", "لم يعجبني الطعام في هذا المطعم.", "كانت الرحلة عادية。",
    # Ukrainian
    "Мені дуже сподобалася ця вистава!", "Обслуговування було жахливим.", "Книга була посередньою。",
    # Hindi
    "यह जगह सच में अद्भुत है!", "यह अनुभव बहुत खराब था।", "फिल्म ठीक-ठाक थी।",
    # Bengali
    "এখানকার পরিবেশ অসাধারণ!", "সেবার মান একেবারেই খারাপ।", "খাবারটা মোটামুটি ছিল।",
    # Portuguese
    "Este livro é fantástico! Eu aprendi muitas coisas novas e inspiradoras.", 
    "Não gostei do produto, veio quebrado.", "O filme foi ok, nada de especial.",
    # Japanese
    "このレストランの料理は本当に美味しいです！", "このホテルのサービスはがっかりしました。", "天気はまあまあです。",
    # Russian
    "Я в восторге от этого нового гаджета!", "Этот сервис оставил у меня только разочарование.", "Встреча была обычной, ничего особенного.",
    # French
    "J'adore ce restaurant, c'est excellent !", "L'attente était trop longue et frustrante.", "Le film était moyen, sans plus.",
    # Turkish
    "Bu otelin manzarasına bayıldım!", "Ürün tam bir hayal kırıklığıydı.", "Konser fena değildi, ortalamaydı.",
    # Italian
    "Adoro questo posto, è fantastico!", "Il servizio clienti è stato pessimo.", "La cena era nella media.",
    # Polish
    "Uwielbiam tę restaurację, jedzenie jest świetne!", "Obsługa klienta była rozczarowująca.", "Pogoda jest w porządku, nic szczególnego.",
    # Tagalog
    "Ang ganda ng lugar na ito, sobrang aliwalas!", "Hindi maganda ang serbisyo nila dito.", "Maayos lang ang palabas, walang espesyal.",
    # Dutch
    "Ik ben echt blij met mijn nieuwe aankoop!", "De klantenservice was echt slecht.", "De presentatie was gewoon oké, niet bijzonder.",
    # Malay
    "Saya suka makanan di sini, sangat sedap!", "Pengalaman ini sangat mengecewakan.", "Hari ini cuacanya biasa sahaja.",
    # Korean
    "이 가게의 케이크는 정말 맛있어요!", "서비스가 너무 별로였어요.", "날씨가 그저 그렇네요.",
    # Swiss German
    "Ich find dä Service i de Beiz mega guet!", "Däs Esä het mir nöd gfalle.", "D Wätter hüt isch so naja."
]

for text, sentiment in zip(texts, predict_sentiment(texts)):
    print(f"Text: {text}\nSentiment: {sentiment}\n")

✨ 主要特性

• 多语言支持：支持英语、中文、西班牙语、印地语等多种语言。
• 多场景应用：可用于社交媒体分析、客户反馈分析、产品评论分类、品牌监测等多个领域。
• 合成数据训练：使用先进大语言模型生成的合成多语言数据进行训练，确保在不同语言和文化背景下都有良好表现。

📦 安装指南

文档未提及安装步骤，暂不提供。

📚 详细文档

模型详情

• 模型名称：tabularisai/multilingual-sentiment-analysis
• 基础模型：distilbert/distilbert-base-multilingual-cased
• 任务：文本分类（情感分析）
• 支持语言：支持英语、中文（中文）、西班牙语（Español）、印地语（हिन्दी）、阿拉伯语（العربية）、孟加拉语（বাংলা）、葡萄牙语（Português）、俄语（Русский）、日语（日本語）、德语（Deutsch）、马来语（Bahasa Melayu）、泰卢固语（తెలుగు）、越南语（Tiếng Việt）、韩语（한국어）、法语（Français）、土耳其语（Türkçe）、意大利语（Italiano）、波兰语（Polski）、乌克兰语（Українська）、他加禄语、荷兰语（Nederlands）、瑞士德语（Schweizerdeutsch）。
• 类别数量：5（非常负面、负面、中性、正面、非常正面）
• 应用场景：
  • 社交媒体分析
  • 客户反馈分析
  • 产品评论分类
  • 品牌监测
  • 市场调研
  • 客户服务优化
  • 竞争情报

模型描述

该模型是distilbert/distilbert-base-multilingual-cased的微调版本，用于多语言情感分析。它利用来自多个来源的合成数据，在不同语言和文化背景下实现了稳健的性能。

训练数据

仅使用先进大语言模型生成的合成多语言数据进行训练，确保广泛覆盖各种语言的情感表达。

训练过程

• 微调3.5个周期。
• 在验证数据集上的train_acc_off_by_one约为0.93。

预期用途

适用于：

• 多语言社交媒体监测
• 国际客户反馈分析
• 全球产品评论情感分类
• 全球品牌情感跟踪

🔧 技术细节

合成数据可减少偏差，但建议在实际场景中进行验证。

📄 许可证

本模型使用的许可证为cc-by-nc-4.0。

引用信息

Will be included.

联系我们

如有咨询、数据、私有API或更优模型等需求，请联系info@tabularis.ai。

tabularis.ai