语言: "多语言" 标签:

• bert
• 讽刺检测
• 文本分类 小部件:
• 文本: "美国距经济衰退仅一步之遥"
• 文本: "中情局意识到这些年来一直在使用黑色荧光笔。"
• 文本: "我们将一名男子在可乐桶中浸泡一夜，现在他死了"

多语言讽刺检测器

多语言讽刺检测器是一个文本分类模型，用于从新闻标题中检测讽刺内容。该模型基于bert-base-multilingual-uncased微调，训练数据包括Kaggle上现成的数据集以及从英语、荷兰语和意大利语多家报纸爬取的数据。

标签: 0 -> 非讽刺； 1 -> 讽刺

数据来源

数据集:

• 英语数据: Kaggle: 用于讽刺检测的新闻标题数据集.
• 荷兰语非讽刺数据: Kaggle: 荷兰新闻文章

爬取数据:

• 荷兰语讽刺新闻来自De Speld
• 意大利语非讽刺新闻来自Il Giornale
• 意大利语讽刺新闻来自Lercio

训练数据集

• helinivan/sarcasm_headlines_multilingual

代码库:

• Git仓库: 官方仓库

分类示例

from transformers import AutoModelForSequenceClassification
from transformers import AutoTokenizer
import string

def preprocess_data(text: str) -> str:
   return text.lower().translate(str.maketrans("", "", string.punctuation)).strip()

MODEL_PATH = "helinivan/multilingual-sarcasm-detector"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForSequenceClassification.from_pretrained(MODEL_PATH)

text = "中情局意识到这些年来一直在使用黑色荧光笔。"
tokenized_text = tokenizer([preprocess_data(text)], padding=True, truncation=True, max_length=256, return_tensors="pt")
output = model(**tokenized_text)
probs = output.logits.softmax(dim=-1).tolist()[0]
confidence = max(probs)
prediction = probs.index(confidence)
results = {"is_sarcastic": prediction, "confidence": confidence}

输出:

{'is_sarcastic': 1, 'confidence': 0.9374828934669495}

性能