license: unknown

概述

我们的"ScamLLM"模型专为识别可通过ChatGPT、Bard和Claude等主流商业大语言模型生成钓鱼网站及邮件的恶意提示而设计。 该模型基于预训练RoBERTa框架，通过多组恶意提示数据集进行微调训练所得。

您可通过推理API试用"ScamLLM"。模型采用"标签1"标记识别出的钓鱼企图，以"标签0"标注安全无害的提示内容。

数据集详情

本模型训练所用数据源自GPT-3.5T和GPT-4生成的恶意提示集。 由于涉及待审的活跃漏洞，当前阶段恶意提示数据集仅限申请获取。

训练参数

模型采用RobertaForSequenceClassification.from_pretrained方法训练。 使用RoBERTa-base架构的模型与分词器，经10轮训练周期（学习率2e-5，优化器AdamW）。

推理应用

提供多种测试方式，最简单的是通过推理API或如下"text-classification"管道：

from transformers import pipeline
classifier = pipeline(task="text-classification", model="phishbot/ScamLLM", top_k=None)
prompt = ["输入待检测的示例语句或提示..."]
model_outputs = classifier(prompt)
print(model_outputs[0])

若在研究中引用本模型，请标注论文**《从聊天机器人到钓鱼机器人？商业大语言模型中的钓鱼骗局生成》**(https://www.computer.org/csdl/proceedings-article/sp/2024/313000a221/1WPcYLpYFHy)。

BibTeX引用格式：

  title={从聊天机器人到钓鱼机器人？商业大语言模型中的钓鱼骗局生成},
  author={罗伊, 萨亚克·萨哈 and 索塔, 普吉塔 and 纳拉加姆, 克里希纳·瓦姆西 and 尼拉加德, 希林},
  booktitle={2024年IEEE安全与隐私研讨会论文集},
  pages={221--221},
  year={2024},
  organization={IEEE计算机学会}
}