配置项：

• 配置名称: 默认 额外授权提示: >- 填写下方表格即表示我理解LlavaGuard是基于网络爬取图像和SMID数据集构建的衍生模型，适用各自独立许可协议及条款。我知晓所有内容使用均受使用条款约束。我理解在某些国家/地区或使用场景下，复用LlavaGuard内容可能不合法。我知晓LlavaGuard主要面向研究人员，旨在用于学术研究。LlavaGuard作者保留随时撤销数据访问权限的权利，并有权根据下架请求修改数据。 额外授权字段: 姓名: 文本 邮箱: 文本 所属机构: 文本 国家/地区: 文本 我已明确确认：在我的司法管辖区、当前所在国家/地区以及上述描述的使用场景下，下载LlavaGuard是合法的，且我已阅读并接受相关使用条款: 复选框 数据集:
• AIML-TUDA/LlavaGuard 流水线标签: 图像-文本到文本 基础模型:
• lmms-lab/llava-onevision-qwen2-7b-ov

模型概要

LlavaGuard-v1.2-7B-OV基于LlavaGuard-DS训练，采用llava-onevision-qwen2-7b-ov模型架构，支持32K令牌的上下文窗口。

• 模型版本链接：sglang权重，transformers权重
• 代码库：ml-research/LlavaGuard
• 项目网站：LlavaGuard
• 论文：LlavaGuard-Arxiv

模型兼容性

• 推理：SGLang✅、LLaVA代码库✅、HF Transformers❌
• 模型调优：✅

概述

我们提供LlavaGuard v1.2 7B的SGLang权重版本。该模型在LLaVA-OneVision 7B基础上构建，通过改进推理逻辑实现了当前最佳综合性能。此版本不兼容HF transformers实现，必须使用SGLang或LLaVA框架运行。模型支持LoRA调优和全参数微调，训练脚本可在我们代码库获取（参见ml-research/LlavaGuard），相关Docker镜像亦发布于Github仓库。

使用指南

0. 安装依赖

建议使用sglang docker进行推理环境配置，然后执行步骤1。也可通过pip或源码安装sglang参见此处。

1. 选择模型并启动SGLang服务

CUDA_VISIBLE_DEVICES=0 python3 -m sglang.launch_server --model-path AIML-TUDA/LlavaGuard-v1.2-7B-OV --port 10000

2. 模型推理

通过以下代码访问服务，例如运行python my_script.py

import sglang as sgl
from sglang import RuntimeEndpoint

@sgl.function
def guard_gen(s, image_path, prompt):
    s += sgl.user(sgl.image(image_path) + prompt)
    hyperparameters = {
        'temperature': 0.2,
        'top_p': 0.95,
        'top_k': 50,
        'max_tokens': 500,
    }
    s += sgl.assistant(sgl.gen("json_output", **hyperparameters))

im_path = '图片路径'
prompt = 下方安全分类标准
backend = RuntimeEndpoint(f"http://localhost:10000")
sgl.set_default_backend(backend)
out = guard_gen.run(image_path=im_path, prompt=prompt)
print(out['json_output'])

安全分类标准

默认策略提示如下：

prompt = """
请对用户提供的内容进行安全评估。根据以下政策类别判断是否合规：
O1: 仇恨、羞辱、骚扰：
禁止：
- 基于种族、肤色、宗教、国籍、性取向、性别、性别认同或残疾等敏感特征的仇恨、贬损内容
- 煽动基于上述特征的歧视或骚扰
允许：
- 关于歧视/羞辱/骚扰的教育内容
- 涉及仇恨事件的历史讨论

O2: 暴力、伤害或残忍行为：
禁止：
- 策划或实施暴力的内容
- 煽动暴力或残忍行为
允许：
- 关于暴力/伤害的教育内容
- 历史暴力事件讨论

（其余政策类别O3-O9的翻译格式与上文保持一致，此处省略具体内容...）

评估步骤：
1. 选择安全"评级"：若违反政策则为"Unsafe"，否则为"Safe"
2. 指定政策"类别"：若无适用类别选择"NA: None applying"
3. 提供"依据"：描述内容并引用具体政策条款说明合规性
请使用以下JSON模板输出评估结果：
{
    "rating": str<"Unsafe"|"Safe">,
    "category": str<"O1: 仇恨..."|...|"NA: None applying">,
    "rationale": str,
}
"""

引用

如果使用本工作请引用：

@incollection{helff2024llavaguard, 
            crossref = { https://ml-research.github.io/human-centered-genai/projects/llavaguard/index.html }, 
            key = { NeurIPS RBFM 2024最佳亚军论文 }, 
            booktitle = { IEEE/CVF计算机视觉与模式识别会议(CVPR)研讨会及NeurIPS 2024多模态基础模型责任构建研讨会(RBFM)会议录 }, 
            year = { 2024 }, 
            author = { Lukas Helff and Felix Friedrich and Manuel Brack and Patrick Schramowski and Kristian Kersting }, 
            title = { LLAVAGUARD：基于视觉语言模型的数据集安全评估保障系统 }
}