语言: "nl" 标签:

• bert
• 讽刺检测
• 文本分类 小部件:
• 文本: "我们将一名男子放入装满可乐的桶中过夜，现在他死了"

荷兰语讽刺检测器

荷兰语讽刺检测器是一个文本分类模型，用于检测新闻标题中的讽刺内容。该模型基于GroNLP/bert-base-dutch-cased进行微调，训练数据包括Kaggle上现成的数据集以及从荷兰讽刺报纸（De Speld）爬取的数据。

标签: 0 -> 非讽刺； 1 -> 讽刺

数据来源

数据集:

• 荷兰非讽刺数据: Kaggle: 荷兰新闻文章

爬取数据:

• 荷兰讽刺新闻来自De Speld

训练数据集

• helinivan/sarcasm_headlines_multilingual

代码库:

• Git仓库: 官方仓库

分类示例

from transformers import AutoModelForSequenceClassification
from transformers import AutoTokenizer
import string

def preprocess_data(text: str) -> str:
   return text.lower().translate(str.maketrans("", "", string.punctuation)).strip()

MODEL_PATH = "helinivan/dutch-sarcasm-detector"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForSequenceClassification.from_pretrained(MODEL_PATH)

text = "我们将一名男子放入装满可乐的桶中过夜，现在他死了"
tokenized_text = tokenizer([preprocess_data(text)], padding=True, truncation=True, max_length=256, return_tensors="pt")
output = model(**tokenized_text)
probs = output.logits.softmax(dim=-1).tolist()[0]
confidence = max(probs)
prediction = probs.index(confidence)
results = {"is_sarcastic": prediction, "confidence": confidence}

输出:

{'is_sarcastic': 1, 'confidence': 0.8915400505065918}

性能