🚀 Llama-Prompt-Guard-2-86M-onnx

本仓库提供了 meta-llama/Llama-Prompt-Guard-2-86M 的 ONNX 转换和量化版本。该版本能让模型在不同环境下更高效地运行，为相关的文本分类任务提供支持。

🚀 快速开始

本项目提供了 meta-llama/Llama-Prompt-Guard-2-86M 的 ONNX 转换和量化版本，以下是使用示例。

💻 使用示例

基础用法

from transformers import AutoTokenizer
from optimum.onnxruntime import ORTModelForSequenceClassification
import numpy as np

# Load model and tokenizer using optimum
model = ORTModelForSequenceClassification.from_pretrained("gravitee-io/Llama-Prompt-Guard-2-86M-onnx", file_name="model.quant.onnx")
tokenizer = AutoTokenizer.from_pretrained("gravitee-io/Llama-Prompt-Guard-2-86M-onnx")

# Tokenize input
text = "Your comment here"
inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True)

# Run inference
outputs = model(**inputs)
logits = outputs.logits

# Optional: convert to probabilities
probs = 1 / (1 + np.exp(-logits))
print(probs)

✨ 主要特性

支持多语言

支持英语（en）、法语（fr）、德语（de）、印地语（hi）、意大利语（it）、葡萄牙语（pt）、西班牙语（es）和泰语（th）等多种语言。

强大的构建基础

• Meta LLaMA：作为分类器的基础模型，提供强大的语言理解能力。
  • meta-llama/Llama-Prompt-Guard-2-22M
  • meta-llama/Llama-Prompt-Guard-2-86M
• Hugging Face Transformers：用于模型和分词器的加载，提供便捷的操作接口。
• ONNX：作为模型的导出和运行时格式，保证模型的兼容性和可移植性。
• ONNX Runtime：高效的推理后端，提升模型的推理速度。

📚 详细文档

🔧 评估数据集

我们使用 jackhhao/jailbreak-classification 数据集进行评估。

🔍 评估结果

📄 许可证

本项目使用 llama4 许可证。

🔗 项目仓库

你可以在官方 GitHub 仓库 中找到完整的源代码、CLI 工具和评估脚本。

📦 信息表格