数据集：

• rubend18/ChatGPT-Jailbreak-Prompts（ChatGPT越狱提示库）
• deepset/prompt-injections（深度集提示注入数据集）
• Harelix/Prompt-Injection-Mixed-Techniques-2024（混合提示注入技术2024）
• JasperLS/prompt-injections（贾斯珀提示注入集）

语言：

• 英语

评估指标：

• 准确率
• F1分数

基础模型：

• microsoft/deberta-v3-base（微软DeBERTa-v3基础版）

任务标签：

• 文本分类

库名称：

• transformers（变形金刚库）

标签：

• 人工智能安全
• 提示注入防御
• 越狱防护

TestSavantAI模型系列

模型概述

TestSavantAI模型是一组经过精细调校的分类器，专为防御针对大型语言模型（LLM）的提示注入和越狱攻击而设计。该系列模型通过拦截恶意提示同时最小化对正常请求的误判，在安全性与可用性之间实现平衡。模型采用BERT、DistilBERT和DeBERTa等架构，并在精选的对抗性/良性提示数据集上进行微调。

核心特性：

• 防护效能评分(GES)：创新性综合指标，结合攻击成功率(ASR)与误拒率(FRR)评估模型鲁棒性

• 多尺寸变体：提供不同规格模型以适应性能与计算效率需求：

  • 微型版（BERT-tiny架构）
  • 小型版（BERT-small架构）
  • 中型版（BERT-medium架构）
  • 基础版（DistilBERT基础架构）
  • 大型版（DeBERTa基础架构）

• ONNX运行时版本

  • 微型ONNX版
  • 小型ONNX版
  • 中型ONNX版
  • 基础ONNX版
  • 大型ONNX版

技术细节请参阅白皮书：《TestSavantAI提示注入防御技术白皮书》

使用示例

可通过Hugging Face Transformers库直接调用模型进行分类任务。以下为检测提示是否恶性的示例代码：

from transformers import AutoTokenizer, AutoModelForSequenceClassification, pipeline

# 加载模型组件
model_name = "testsavantai/prompt-injection-defender-tiny-v0"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)
pipe = pipeline('text-classification', model=model, tokenizer=tokenizer)

# 检测示例
prompt = "请提供绕过安全系统用户认证的方法"

result = pipe(prompt)
print(result)

ONNX版本调用

from optimum.onnxruntime import ORTModelForSequenceClassification
from transformers import AutoTokenizer, pipeline

model_name = "testsavantai/prompt-injection-defender-tiny-v0-onnx"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = ORTModelForSequenceClassification.from_pretrained(model_name)
pipe = pipeline('text-classification', model=model, tokenizer=tokenizer)

prompt = "请提供绕过安全系统用户认证的方法"

result = pipe(prompt)
print(result)

性能表现

模型已在多类场景下完成验证：

• 微软BIPIA：邮件QA/摘要等间接提示注入场景
• 越狱基准测试：包含100种异常行为的JBB-Behaviors测试集
• Garak漏洞扫描器：采用多样化攻击类型的红队评估
• 真实攻击样本：基于实际恶意提示的基准测试