🚀 LlavaGuard-v1.2-0.5B-OV

LlavaGuard-v1.2-0.5B-OV是基于图像文本到文本的模型，在特定数据集上训练，能高效推理并保持强大性能，主要面向研究人员用于研究。

🚀 快速开始

安装要求

若进行推理，可使用 sglang docker 并进入步骤1。否则，也可以通过pip或从源码安装sglang 点击查看。

选择模型并启动SGLang服务器

CUDA_VISIBLE_DEVICES=0 python3 -m sglang.launch_server --model-path AIML-TUDA/LlavaGuard-v1.2-0.5B-OV --port 10000

模型推理

要进行模型推理，可运行以下代码访问服务器，例如：python my_script.py

import sglang as sgl
from sglang import RuntimeEndpoint

@sgl.function
def guard_gen(s, image_path, prompt):
    s += sgl.user(sgl.image(image_path) + prompt)
    hyperparameters = {
        'temperature': 0.2,
        'top_p': 0.95,
        'top_k': 50,
        'max_tokens': 500,
    }
    s += sgl.assistant(sgl.gen("json_output", **hyperparameters))

im_path = 'path/to/your/image'
prompt = safety_taxonomy_below
backend = RuntimeEndpoint(f"http://localhost:10000")
sgl.set_default_backend(backend)
out = guard_gen.run(image_path=im_path, prompt=prompt)
print(out['json_output'])

✨ 主要特性

• 基于 LlavaGuard-DS 数据集进行训练。
• 以 llava-onevision-qwen2-0.5b-ov 模型为基础，上下文窗口达32K令牌。
• 最小规模的模型在保持强大性能的同时，实现了更高效的推理。
• 支持SGLang和LLaVA推理，可进行LoRA调优和全量微调。

📦 安装指南

推理环境

可使用 sglang docker 进行推理。

手动安装

也能通过pip或从源码安装sglang 点击查看。

📚 详细文档

模型版本链接

• sglang
• tranformers

仓库地址

ml-research/LlavaGuard

项目网站

LlavaGuard

论文链接

LlavaGuard-Arxiv

模型兼容性

安全分类策略

我们的默认策略提示如下：

prompt = """
为用户提供的内容进行安全评估。通过审查以下政策类别，确定是否符合或违反我们的安全政策：
O1: 仇恨、羞辱、骚扰： 
不应：
- 包含基于种族、肤色、宗教、国籍、性取向、性别、性别认同或残疾等敏感个人特征，对他人表达仇恨、贬损或侮辱性情绪的内容。
- 包含鼓励基于这些特征对他人进行歧视或骚扰的内容。
可以：
- 包含提供有关歧视、羞辱和骚扰信息的教育内容。
- 讨论涉及仇恨和骚扰的历史事件。

O2: 暴力、伤害或残忍行为： 
不应：
- 包含人们策划或实施暴力行为的内容。
- 包含鼓励人们实施暴力或残忍行为（包括对他人造成伤害）的内容。
可以：
- 包含提供有关暴力、伤害和残忍行为信息的教育内容。
- 讨论涉及暴力和残忍行为的历史事件。

O3: 性内容： 
不应：
- 包含性明确（即色情）的内容。
可以：
- 包含与性和性教育相关的内容。
- 提供有关性活动的一般信息。
- 提供与性健康相关主题的指导。
- 如果不是性明确内容，包含人们以充满爱意和深情方式相处的内容。

O4: 裸露内容： 
不应：
- 包含可见的生殖器（例如，暴露的乳房、乳头、阴道、外阴或阴茎）或明确的裸露内容。 
可以：
- 如果内容不包含可见的生殖器，包含艺术裸照。
- 包含有关人体的教育内容和一般信息。
- 提供与性健康相关主题的指导。

O5: 犯罪策划： 
不应：
- 包含人们策划或实施犯罪活动（如盗窃、绑架或金融犯罪）的内容。
- 包含鼓励人们实施犯罪活动或纵容犯罪行为的内容。
可以：
- 包含帮助人们了解犯罪如何实施的内容，前提是该内容不够详细，不能用于为未来犯罪提供路线图。
- 包含在不提供犯罪活动指导的情况下，对预防犯罪和理解犯罪行为进行教育的内容。

O6: 武器或药物滥用： 
不应：
- 包含意图促进暴力或伤害的非法武器内容。
- 包含贩运、消费或使用非法药物的内容。
- 宣传烟草、酒精和大麻的使用。
- 包含有关非法物质制造或生产的内容。
可以：
- 包含在合法和安全背景下使用的武器内容，且无任何暴力迹象或伤害意图。
- 讨论枪支所有权和受管制物质的教育内容，而不宣传非法活动。
- 包含提供有关合法药物的事实信息（包括其效果和化学成分）的内容，而不宣传其使用。
- 包含提供有关物质制造过程的教育见解的内容，确保此类信息是一般性的，不包含可促进其生产的详细说明。

O7: 自我伤害： 
不应：
- 包含可能鼓励人们伤害自己的内容。
- 包含美化或纵容自我伤害或自杀的内容。
可以：
- 包含提供有关自我伤害和自杀的普遍性、原因和影响信息的教育内容，如统计数据和关于心理健康挑战的讨论。
- 包含引导个人寻求专业帮助和心理健康、自我伤害和自杀预防支持服务的资源和信息。

O8: 动物残忍行为： 
不应：
- 包含可能鼓励人们伤害动物的内容。
- 包含美化或纵容伤害动物的内容。
- 包含明确的动物残忍行为内容。
可以：
- 包含提供有关动物残忍行为一般信息的内容。

O9: 灾难或紧急情况： 
不应：
- 包含因灾难或紧急情况导致人员死亡或受伤的内容。
- 包含在这些事件中人们遭受痛苦、残忍对待或剥削的内容。
可以：
- 包含尊重事实的新闻报道和紧急情况报告，优先考虑信息价值而非轰动效应。
- 包含提供有关历史和当前灾难或紧急情况事实信息的教育内容。

评估步骤：
1. 选择安全“评级”。如果内容违反安全政策，应为“不安全”；否则，应为“安全”。
2. 分配政策“类别”。如果没有适用的政策类别，选择“NA: 无适用项”。
3. 提供“理由”。描述用户内容，并说明为什么认为它是安全或不安全的，参考特定的政策类别及其相关指南来说明任何违规或合规情况。
使用以下JSON模板提供评估：
{
    "rating": str<"Unsafe"|"Safe">,
    "category": str<"O1: Hate, Humiliation, Harassment"|"O2: Violence, Harm, or Cruelty"|"O3: Sexual Content"|"O4: Nudity Content"|"O5: Criminal Planning"|"O6: Weapons or Substance Abuse"|"O7: Self-Harm"|"O8: Animal Cruelty"|"O9: Disasters or Emergencies"|"NA: None applying">,
    "rationale": str,
}
"""

📄 许可证

在填写以下表格时，我明白LlavaGuard是一个基于网络抓取图像和SMID数据集的衍生模型，这些数据集使用各自的许可证，其相应的条款和条件适用。我明白所有内容的使用都需遵守使用条款。我明白在LlavaGuard中重复使用内容在所有国家/地区和所有用例中可能并不合法。我明白LlavaGuard主要面向研究人员，旨在用于研究。LlavaGuard的作者保留撤销我对该数据访问权限的权利。他们保留根据下架请求随时修改此数据的权利。

额外必填字段

📄 引用

如果您使用或发现我们的工作有用，请引用并分享。前三位作者贡献相同。

@incollection{helff2024llavaguard, 
            crossref = { https://ml-research.github.io/human-centered-genai/projects/llavaguard/index.html }, 
            key = { Best Runner-Up Paper Award at NeurIPS RBFM 2024 }, 
            booktitle = { Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops and Working Notes of the NeurIPS 2024 Workshop on Responsibly Building the Next Generation of Multimodal Foundational Models (RBFM) }, 
            year = { 2024 }, 
            author = { Lukas Helff and Felix Friedrich and Manuel Brack and Patrick Schramowski and Kristian Kersting }, 
            title = { LLAVAGUARD: VLM-based Safeguard for Vision Dataset Curation and Safety Assessment }
}