配置项：

• 配置名称: 默认 额外授权提示: >- 填写下方表格即表示我理解LlavaGuard是基于网络爬取图像和SMID数据集开发的衍生模型，适用各自独立许可协议及条款。我知晓所有内容使用均受使用条款约束。我理解在某些国家/地区或使用场景下，复用LlavaGuard内容可能不合法。我知悉LlavaGuard主要面向研究人员，旨在用于学术研究。LlavaGuard作者保留随时撤销数据访问权限的权利，并有权根据下架要求修改数据。 额外授权字段: 姓名: 文本 邮箱: 文本 所属机构: 文本 国家: 文本 我已明确确认下载LlavaGuard在当前司法管辖区、所在国家/地区以及上述描述用途中均属合法，并已阅读接受相关使用条款: 复选框 数据集:
• AIML-TUDA/LlavaGuard 管道标签: 图像-文本到文本 基础模型:
• lmms-lab/llava-onevision-qwen2-7b-ov

模型概要

LlavaGuard-v1.2-7B-OV基于32K上下文窗口的llava-onevision-qwen2-7b-ov模型，在LlavaGuard-DS数据集上训练完成。

• 模型版本链接：sglang权重，transformers权重
• 代码库：ml-research/LlavaGuard
• 项目网站：LlavaGuard
• 论文：LlavaGuard-Arxiv

模型兼容性

• 推理：HF Transformers✅，SGLang❌，LLaVA 代码库❌
• 模型调优：❌

概述

我们提供LlavaGuard v1.2 7B的transformers转换权重。该模型基于LLaVA-OneVision 7B，通过改进推理能力在评估依据方面取得了当前最佳综合性能。

使用方法

运行下方代码即可访问模型推理服务，例如执行python my_script.py：

from transformers import AutoProcessor, LlavaOnevisionForConditionalGeneration
from PIL import Image
import requests

model = LlavaOnevisionForConditionalGeneration.from_pretrained('AIML-TUDA/LlavaGuard-v1.2-7B-OV-hf')
processor = AutoProcessor.from_pretrained('AIML-TUDA/LlavaGuard-v1.2-7B-OV-hf')

conversation = [
    {
        "role": "用户",
        "content": [
            {"type": "图像"},
            {"type": "文本", "text": policy},
            ],
    },
]

text_prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)

url = "https://www.ilankelman.org/stopsigns/australia.jpg"
image = Image.open(requests.get(url, stream=True).raw)

inputs = processor(text=text_prompt, images=image, return_tensors="pt")
model.to('cuda:0')
inputs = {k: v.to('cuda:0') for k, v in inputs.items()}
# 生成
超参数 = {
    "max_new_tokens": 200,
    "do_sample": True,
    "temperature": 0.2,
    "top_p": 0.95,
    "top_k": 50,
    "num_beams": 2,
    "use_cache": True,
}
output = model.generate(**inputs, **超参数)
print(processor.decode(output[0], skip_special_tokens=True))

安全分类体系

默认策略提示如下：

prompt = """
为用户提供的内容进行安全评估。根据以下政策类别判断合规或违规：
O1: 仇恨、羞辱、骚扰：
禁止：
- 基于种族、肤色、宗教、国籍、性取向、性别、性别认同或残疾等敏感特征，表达仇恨、贬损或侮辱性内容
- 鼓动基于上述特征的歧视或骚扰行为
允许：
- 包含关于歧视、羞辱和骚扰的教育内容
- 讨论涉及仇恨和骚扰的历史事件

O2: 暴力、伤害或残忍：
禁止：
- 包含策划或实施暴力的内容
- 鼓动他人实施暴力或残忍行为
允许：
- 包含关于暴力、伤害和残忍的教育内容
- 讨论涉及暴力的历史事件

（后续政策类别O3-O9的翻译格式与上文保持一致，此处省略完整译文）

评估步骤：
1. 选择安全"评级"：若内容违反安全政策则标记为"不安全"，否则标记为"安全"
2. 指定政策"类别"：若无适用类别则选择"不适用"
3. 提供评估"依据"：描述用户内容并引用具体政策条款说明合规/违规原因
请使用以下JSON模板提交评估：
{
    "rating": str<"不安全"|"安全">,
    "category": str<"O1: 仇恨..."|...|"不适用">,
    "rationale": str,
}
"""

引用

若使用本作品请引用，前三位作者贡献均等：

@incollection{helff2024llavaguard, 
            crossref = { https://ml-research.github.io/human-centered-genai/projects/llavaguard/index.html }, 
            key = { NeurIPS RBFM 2024最佳亚军论文 }, 
            booktitle = { IEEE/CVF计算机视觉与模式识别会议(CVPR)研讨会论文集及NeurIPS 2024多模态基础模型负责任构建研讨会(RBFM)工作笔记 }, 
            year = { 2024 }, 
            author = { Lukas Helff and Felix Friedrich and Manuel Brack and Patrick Schramowski and Kristian Kersting }, 
            title = { LLAVAGUARD：基于视觉语言模型的视觉数据集策展与安全评估保障系统 }
}