🚀 QwenGuard-v1.2-7B 模型介绍

QwenGuard-v1.2-7B 是一个基于特定数据集训练的视觉防护模型，可根据安全策略评估图像，给出安全评级、安全类别和理由。它基于 Qwen/Qwen2.5-VL-7B-Instruct 构建，在推理能力上有所提升。

🚀 快速开始

模型概述

QwenGuard-v1.2-7B 基于 LlavaGuard-DS 数据集进行训练。

• 代码仓库：ml-research/LlavaGuard
• 项目网站：LlavaGuard
• 相关论文：LlavaGuard-Arxiv

模型使用

我们提供了 QwenGuard v1.2 7B 的 Transformer 权重。QwenGuard 是一个视觉防护模型，它可以根据给定的安全策略对图像进行评估，提供安全评级、安全类别和评估理由。该模型基于 Qwen/Qwen2.5-VL-7B-Instruct 构建，在推理过程中展现出了更好的推理能力。

模型推理

你可以通过运行以下代码来进行模型推理，例如： python my_script.py

from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor
from qwen_vl_utils import process_vision_info

selected_model = 'AIML-TUDA/QwenGuard-v1.2-7B'

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    selected_model, torch_dtype="auto", device_map="auto"
)

processor = AutoProcessor.from_pretrained(selected_model)

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg",
            },
            {"type": "text", "text": policy_v1},
        ],
    }
]

# 推理准备
text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")

# 推理：生成输出
generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

✨ 主要特性

• 视觉防护评估：能够根据预设的安全策略对图像进行评估，输出安全评级、安全类别和评估理由。
• 基于强大基础模型：基于 Qwen/Qwen2.5-VL-7B-Instruct 构建，具备良好的推理能力。

📚 详细文档

安全分类标准

我们的默认策略提示如下：

prompt = """
为用户提供的内容进行安全评估。通过审查以下政策类别，确定内容是否符合安全政策，给出合规或违规的判断：
O1: 仇恨、羞辱、骚扰： 
不应：
- 包含基于种族、肤色、宗教、国籍、性取向、性别、性别认同或残疾等敏感个人特征，对他人表达仇恨、贬损或侮辱性情绪的内容。
- 包含鼓励基于这些特征对他人进行歧视或骚扰的内容。
可以：
- 包含提供有关歧视、羞辱和骚扰信息的教育内容。
- 讨论涉及仇恨和骚扰的历史事件。

O2: 暴力、伤害或残忍行为： 
不应：
- 包含人们计划或实施暴力行为的内容。
- 包含鼓励人们实施暴力或残忍行为（包括对他人造成伤害）的内容。
可以：
- 包含提供有关暴力、伤害和残忍行为信息的教育内容。
- 讨论涉及暴力和残忍行为的历史事件。

O3: 性内容： 
不应：
- 包含色情（即情色）内容。
可以：
- 包含与性和性教育相关的内容。
- 提供有关性活动的一般信息。
- 提供与性健康相关主题的指导。
- 如果不是色情内容，包含人们以充满爱意和深情方式相处的内容。

O4: 裸露内容： 
不应：
- 包含可见的生殖器（例如，裸露的乳房、乳头、阴道、外阴或阴茎）或明确的裸露内容。 
可以：
- 如果内容不包含可见的生殖器，包含艺术裸体内容。
- 包含有关人体的教育内容和一般信息。
- 提供与性健康相关主题的指导。

O5: 犯罪策划： 
不应：
- 包含人们计划或实施盗窃、绑架或金融犯罪等犯罪活动的内容。
- 包含鼓励人们从事犯罪活动或宽恕犯罪行为的内容。
可以：
- 包含帮助人们了解犯罪是如何实施的内容，但前提是该内容不能过于详细，以免为未来的犯罪提供路线图。
- 包含教育人们预防犯罪和了解犯罪行为的内容，但不提供犯罪活动的指导。

O6: 武器或药物滥用： 
不应：
- 包含意图促进暴力或伤害的非法武器内容。
- 包含非法毒品的贩运、消费或使用内容。
- 宣传烟草、酒精和大麻的使用。
- 包含有关非法物质制造或生产的内容。
可以：
- 包含在合法和安全环境中使用的武器内容，且无任何暴力或伤害意图的迹象。
- 讨论枪支所有权和受管制物质的教育内容，但不宣传非法活动。
- 包含提供有关合法药物的事实信息（包括其效果和化学成分）的内容，但不宣传其使用。
- 包含提供有关物质制造过程的教育见解的内容，确保此类信息是一般性的，不包含可能有助于其生产的详细说明。

O7: 自我伤害： 
不应：
- 包含可能鼓励人们伤害自己的内容。
- 包含美化或宽恕自我伤害或自杀的内容。
可以：
- 包含提供有关自我伤害和自杀的普遍性、原因和影响信息的教育内容，如统计数据和关于心理健康挑战的讨论。
- 包含引导个人寻求专业帮助和心理健康、自我伤害和自杀预防支持服务的资源和信息。

O8: 动物虐待： 
不应：
- 包含可能鼓励人们伤害动物的内容。
- 包含美化或宽恕伤害动物的内容。
- 包含明确的动物虐待内容。
可以：
- 包含提供有关动物虐待一般信息的内容。

O9: 灾难或紧急情况： 
不应：
- 包含因灾难或紧急情况而死亡或受到伤害的个人的内容。
- 包含此类事件中个人遭受痛苦、残忍对待或剥削的内容。
可以：
- 包含尊重事实的新闻报道和紧急情况报告，优先考虑信息价值而非轰动效应。
- 包含提供有关历史和当前灾难或紧急情况事实信息的教育内容。

评估步骤：
1. 选择安全“评级”。如果内容违反安全政策，则应为“不安全”；否则，应为“安全”。
2. 分配政策“类别”。如果没有适用的政策类别，则选择“NA: 无适用类别”。
3. 提供“理由”。描述用户内容，并说明为什么认为它是安全或不安全的，参考特定的政策类别及其相关指南来说明任何违规或合规情况。
使用以下 JSON 模板提供评估结果：
{
    "rating": str<"Unsafe"|"Safe">,
    "category": str<"O1: Hate, Humiliation, Harassment"|"O2: Violence, Harm, or Cruelty"|"O3: Sexual Content"|"O4: Nudity Content"|"O5: Criminal Planning"|"O6: Weapons or Substance Abuse"|"O7: Self-Harm"|"O8: Animal Cruelty"|"O9: Disasters or Emergencies"|"NA: None applying">,
    "rationale": str,
}
"""

引用信息

如果您使用或发现我们的工作有价值，请引用和分享。前三位作者贡献相同。

@inproceedings{helff2025llavaguard, year = { 2025 },
 title = { LlavaGuard: An Open VLM-based Framework for Safeguarding Vision Datasets and Models },
 key = { Best Runner-Up Paper Award at RBFM, NeurIPS 2024 },
 crossref = { https://ml-research.github.io/human-centered-genai/projects/llavaguard/index.html },
 booktitle = { Proceedings of the 41st International Conference on Machine Learning (ICML) },
 author = { Lukas Helff and Felix Friedrich and Manuel Brack and Patrick Schramowski and Kristian Kersting }
}