许可证：apache-2.0
流程标签：文本分类
库名称：transformers
标签：

• 文本分类
• 垃圾信息检测

垃圾短信检测模型

该模型基于dbmdz/bert-base-turkish-128k-uncased微调，用于土耳其语短信的垃圾信息检测。其设计目标是将短信分类为垃圾信息或正常信息。

训练

模型使用BERTurk分词器和分类器进行训练，配置如下：

• 模型：dbmdz/bert-base-turkish-128k-uncased
• 优化器：AdamW
• 学习率：5e-5
• 训练轮次：4

训练数据集包含垃圾短信和正常短信，确保数据分布平衡。

性能

模型取得以下指标：

• 准确率：将在更多数据集测试后更新。
• F1分数：将在更多数据集测试后更新。
• 精确率：将在更多数据集测试后更新。
• 召回率：将在更多数据集测试后更新。

数据集

微调使用的数据集为土耳其短信收集数据集，公开发布于Kaggle。包含2,536条垃圾短信和2,215条正常短信。

数据集说明

该数据集收集了标记为垃圾或正常的土耳其语短信，样本来自土耳其不同地区、不同年龄段的用户。

若使用此数据集，请引用：
Karasoy, O., Ballı, S. 土耳其语中基于深度文本分析与深度学习的垃圾短信检测方法. Arab J Sci Eng (2021). https://doi.org/10.1007/s13369-021-06187-1

许可证

本模型采用CreativeML OpenRAIL-M许可证授权。

• 允许：在注明来源的前提下，允许非商业用途的使用、分享和修改。
• 禁止：严禁商业用途或出售模型及其衍生作品。

详情参阅CreativeML OpenRAIL-M许可证条款。

使用方式

可通过Hugging Face Transformers库调用模型：

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model_name = "BaranKanat/BerTurk-SpamSMS"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

test_sms = "2000 TL DENEME BONUSU KAZANDINIZ !!! YATIRIM SARTI YOK KAZANC ve CEKIM LIMITI YOK." #垃圾短信示例

inputs = tokenizer(test_sms, return_tensors="pt", truncation=True, padding=True)

with torch.no_grad():
    outputs = model(**inputs)

logits = outputs.logits
predicted_class = torch.argmax(logits, dim=1).item()

labels = ["正常", "垃圾"]  # 0: 正常, 1: 垃圾
print(f"短信内容: {test_sms}")
print(f"分类结果: {labels[predicted_class]} ({predicted_class})")

标签：

• 文本分类
• 垃圾信息检测
  许可证：apache-2.0