语言: "英语" 标签:

• bert
• 讽刺检测
• 文本分类 小部件:
• 文本: "中央情报局意识到这些年来一直在使用黑色荧光笔。"

英语讽刺检测器

英语讽刺检测器是一个文本分类模型，用于从新闻标题中检测讽刺。它基于bert-base-uncased微调，训练数据来自Kaggle上现成的数据集。

标签: 0 -> 非讽刺; 1 -> 讽刺

数据来源

数据集:

• 英语数据: Kaggle: 用于讽刺检测的新闻标题数据集。

训练数据集

• helinivan/sarcasm_headlines_multilingual

代码库:

• Git仓库: 官方仓库。

分类示例

from transformers import AutoModelForSequenceClassification
from transformers import AutoTokenizer
import string

def preprocess_data(text: str) -> str:
   return text.lower().translate(str.maketrans("", "", string.punctuation)).strip()

MODEL_PATH = "helinivan/english-sarcasm-detector"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForSequenceClassification.from_pretrained(MODEL_PATH)

text = "中央情报局意识到这些年来一直在使用黑色荧光笔。"
tokenized_text = tokenizer([preprocess_data(text)], padding=True, truncation=True, max_length=256, return_tensors="pt")
output = model(**tokenized_text)
probs = output.logits.softmax(dim=-1).tolist()[0]
confidence = max(probs)
prediction = probs.index(confidence)
results = {"is_sarcastic": prediction, "confidence": confidence}

输出:

{'is_sarcastic': 1, 'confidence': 0.9337034225463867}

性能