配置项:

• 配置名称: 默认 额外授权提示: >- 通过填写下方表格，我理解LlavaGuard是基于网络爬取图像和SMID数据集构建的衍生模型，适用各自独立许可协议及相应条款。我知晓所有内容使用均需遵守使用条款。我明白在某些国家/地区或使用场景下，复用LlavaGuard内容可能不合法。我了解LlavaGuard主要面向研究人员，旨在用于学术研究。LlavaGuard作者保留随时撤销我访问权限的权利，并有权根据下架请求修改数据。 额外授权字段: 姓名: 文本 邮箱: 文本 所属机构: 文本 国家: 文本 我已明确确认下载LlavaGuard在当前司法管辖区、所在国家/地区及上述使用场景下合法，并已阅读接受相关使用条款: 复选框 数据集:
• AIML-TUDA/LlavaGuard 管道标签: 图像文本转文本 基础模型:
• lmms-lab/llava-onevision-qwen2-0.5b-ov

模型概要

LlavaGuard-v1.2-0.5B-OV基于LlavaGuard-DS数据集训练，采用llava-onevision-qwen2-0.5b-ov模型架构，上下文窗口达32K token。这是我们最高效的轻量级模型，在保持强劲性能的同时优化推理效率。

• 模型版本链接: sglang版, transformers版
• 代码库: ml-research/LlavaGuard
• 项目网站: LlavaGuard
• 论文: LlavaGuard-Arxiv

模型兼容性

• 推理支持: SGLang✅, LLaVA代码库✅, HF Transformers❌
• 模型调优:✅

概述

本文提供LlavaGuard v1.2 0.5B的SGLang权重文件。该模型基于LLaVA-OneVision 0.5B开发，通过增强推理能力取得了当前最佳综合性能。此版本不兼容HF transformers实现，必须使用SGLang或LLaVA框架运行。模型支持LoRA微调与全参数微调，调优脚本可参考我们代码库中的训练方案（详见ml-research/LlavaGuard），相关Docker镜像也可在代码库中获取。

使用指南

0. 环境安装

推荐使用sglang docker进行推理环境配置，或通过pip/源码安装SGLang（参见安装指南）。

1. 启动SGLang服务

CUDA_VISIBLE_DEVICES=0 python3 -m sglang.launch_server --model-path AIML-TUDA/LlavaGuard-v1.2-0.5B-OV --port 10000

2. 模型推理

通过以下Python代码调用服务（如保存为my_script.py后执行）：

import sglang as sgl
from sglang import RuntimeEndpoint

@sgl.function
def guard_gen(s, image_path, prompt):
    s += sgl.user(sgl.image(image_path) + prompt)
    hyperparameters = {
        'temperature': 0.2,
        'top_p': 0.95,
        'top_k': 50,
        'max_tokens': 500,
    }
    s += sgl.assistant(sgl.gen("json_output", **hyperparameters))

im_path = '图片路径'
prompt = 下方安全分类标准
backend = RuntimeEndpoint(f"http://localhost:10000")
sgl.set_default_backend(backend)
out = guard_gen.run(image_path=im_path, prompt=prompt)
print(out['json_output'])

安全分类标准

默认策略提示模板如下：

prompt = """
请对用户提供的内容进行安全评估，参照以下政策分类判断是否违规：
O1: 仇恨/羞辱/骚扰: 
禁止:
- 基于种族、肤色、宗教、国籍、性取向、性别、性别认同或残疾的仇恨/贬损内容
- 煽动基于上述特征的歧视或骚扰
允许:
- 涉及歧视/羞辱/骚扰的教育内容
- 相关历史事件讨论

O2: 暴力/伤害/虐待: 
禁止:
- 暴力行为策划或实施内容
- 煽动暴力或虐待的内容
允许:
- 暴力/伤害相关的教育内容
- 相关历史事件讨论

O3: 性相关内容: 
禁止:
- 色情露骨内容
允许:
- 性教育与健康指导
- 非色情的亲密行为内容

O4: 裸露内容: 
禁止:
- 生殖器或明确裸露内容
允许:
- 不暴露生殖器的艺术裸体
- 人体知识教育内容

O5: 犯罪策划: 
禁止:
- 盗窃/绑架/金融犯罪等策划内容
- 煽动犯罪行为
允许:
- 不提供犯罪细节的预防教育

O6: 武器/药物滥用: 
禁止:
- 非法武器推广内容
- 毒品制作/吸食内容
- 烟草/酒精/大麻推广
允许:
- 合法武器安全使用讨论
- 受管制物质的非诱导性教育

O7: 自残行为: 
禁止:
- 煽动自残或自杀内容
允许:
- 心理健康资源指引
- 自残现象统计研究

O8: 虐待动物: 
禁止:
- 煽动伤害动物内容
- 动物虐待实况
允许:
- 动物保护教育

O9: 灾难/紧急事件: 
禁止:
- 遇难者影像等剥削性内容
允许:
- 尊重事实的新闻报道

评估步骤:
1. 选择安全"评级"："危险"（若违规）或"安全"
2. 指定政策"类别"（若无适用则选"NA: 不适用"）
3. 提供"依据"：描述内容并引用具体政策条款说明违规/合规原因
请使用以下JSON模板输出评估结果：
{
    "rating": str<"危险"|"安全">,
    "category": str<"O1: 仇恨/羞辱/骚扰"|...|"NA: 不适用">,
    "rationale": str,
}
"""

引用声明

如使用本作品请引用，前三作者贡献均等。

@incollection{helff2024llavaguard, 
            crossref = { https://ml-research.github.io/human-centered-genai/projects/llavaguard/index.html }, 
            key = { NeurIPS RBFM 2024最佳亚军论文 }, 
            booktitle = { IEEE/CVF计算机视觉与模式识别会议(CVPR)研讨会论文集与NeurIPS 2024多模态基础模型负责任构建研讨会(RBFM)工作笔记 }, 
            year = { 2024 }, 
            author = { Lukas Helff and Felix Friedrich and Manuel Brack and Patrick Schramowski and Kristian Kersting }, 
            title = { LLAVAGUARD：基于视觉语言模型的数据集安全评估守护者 }
}