---

库名称：transformers 许可证：gemma 流水线标签：图像文本到文本 额外授权标题：在Hugging Face上访问PaliGemma 额外授权提示：要在Hugging Face上访问PaliGemma，您需要审阅并同意Google的使用许可。为此，请确保您已登录Hugging Face并点击下方。请求将立即处理。 额外授权按钮内容：确认许可

PaliGemma模型卡

模型页面: PaliGemma

Transformers PaliGemma 3B权重，使用448*448输入图像在ScienceQA数据集上微调。模型提供float32、bfloat16和float16格式，仅限研究用途。微调配置可在big_vision获取。

资源与技术文档:

• 负责任生成式AI工具包
• Kaggle上的PaliGemma
• Vertex Model Garden上的PaliGemma

使用条款: 条款

作者: Google

模型信息

模型概述

描述

PaliGemma是一款多功能轻量级视觉语言模型(VLM)，灵感来自PaLI-3，基于SigLIP视觉模型和Gemma语言模型等开放组件。它接受图像和文本输入并生成文本输出，支持多语言。专为在图像/短视频描述、视觉问答、文本阅读、目标检测与分割等广泛视觉语言任务上实现领先的微调性能而设计。

模型架构

PaliGemma由Transformer解码器和Vision Transformer图像编码器组成，总计30亿参数。文本解码器初始化自Gemma-2B，图像编码器初始化自SigLIP-So400m/14。训练遵循PaLI-3方案。

输入输出

• 输入: 图像和文本字符串（如图像描述提示或问题）
• 输出: 响应生成的文本（如图像描述、问题答案、目标边界框坐标列表或分割编码）

模型数据

预训练数据集

PaliGemma在以下混合数据集上预训练：

• WebLI: 来自公共网络的网络级多语言图文数据集，用于获取视觉语义理解、目标定位、视觉文本理解等能力
• CC3M-35L: 网页英文图像-替代文本对，翻译为34种语言
• VQ²A-CC3M-35L/VQG-CC3M-35L: VQ2A-CC3M子集，翻译为相同34种语言
• OpenImages: 基于OpenImages数据集的手工规则生成的检测与目标感知问答
• WIT: 维基百科收集的图像和文本

数据责任过滤

对WebLI应用以下过滤确保训练数据清洁：

• 色情图像过滤
• 文本安全过滤（移除涉及CSAI、色情、粗俗等内容）
• 文本毒性过滤（使用Perspective API识别侮辱、淫秽、仇恨等内容）
• 文本个人信息过滤（使用Cloud DLP API移除社保号等敏感信息）
• 其他基于内容质量与安全性的过滤方法

使用方式

PaliGemma是单轮视觉语言模型，不适合对话场景，在针对特定用例微调时表现最佳。可通过任务前缀（如"detect"或"segment"）配置模型任务。预训练模型通过类似提示结构获得丰富能力，但设计初衷是通过微调迁移到特定任务。交互测试可使用"mix"系列模型（已在多任务混合上微调）。

详细用例请参考使用与限制章节或访问博客文章。

Transformers中使用

以下代码示例使用google/paligemma-3b-mix-224模型。当前仓库中的模型可能针对其他任务训练，请确保使用适合的输入。

CPU上运行默认精度(float32)

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image
import requests
import torch

model_id = "google/paligemma-3b-mix-224"

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"
image = Image.open(requests.get(url, stream=True).raw)

model = PaliGemmaForConditionalGeneration.from_pretrained(model_id).eval()
processor = AutoProcessor.from_pretrained(model_id)

# 指示模型生成西班牙语描述
prompt = "caption es"
model_inputs = processor(text=prompt, images=image, return_tensors="pt")
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

输出: Un auto azul estacionado frente a un edificio.

CUDA上运行其他精度

仓库包含已转换为bfloat16和float16的权重版本，可减少下载大小并避免本地转换。

以下是在NVIDIA CUDA卡上运行bfloat16的示例：

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image
import requests
import torch

model_id = "google/paligemma-3b-mix-224"
device = "cuda:0"
dtype = torch.bfloat16

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"
image = Image.open(requests.get(url, stream=True).raw)

model = PaliGemmaForConditionalGeneration.from_pretrained(
    model_id,
    torch_dtype=dtype,
    device_map=device,
    revision="bfloat16",
).eval()
processor = AutoProcessor.from_pretrained(model_id)

# 指示模型生成西班牙语描述
prompt = "caption es"
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(model.device)
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

4-bit/8-bit加载

需安装bitsandbytes实现自动8-bit或4-bit精度推理：

pip install bitsandbytes accelerate

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image
import requests
import torch

model_id = "google/paligemma-3b-mix-224"
device = "cuda:0"
dtype = torch.bfloat16

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"
image = Image.open(requests.get(url, stream=True).raw)

quantization_config = BitsAndBytesConfig(load_in_8bit=True)

model = PaliGemmaForConditionalGeneration.from_pretrained(
    model_id, quantization_config=quantization_config
).eval()
processor = AutoProcessor.from_pretrained(model_id)

# 指示模型生成西班牙语描述
prompt = "caption es"
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(model.device)
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

实现信息

硬件

PaliGemma使用最新一代TPU硬件(TPUv5e)训练。

软件

使用JAX、Flax、TFDS和big_vision训练。

JAX支持利用TPU等最新硬件加速大规模模型训练。TFDS用于访问数据集，Flax用于模型架构。PaliGemma微调代码和推理代码发布于big_vision GitHub仓库。

评估信息

基准结果

为验证PaliGemma在学术任务上的迁移能力，我们在各任务上微调预训练模型，同时训练混合任务的mix模型。报告不同分辨率下的结果以展示哪些任务受益于更高分辨率。注意这些任务/数据集均未出现在预训练数据中，其图像已从预训练数据中明确移除。

混合模型（多任务微调）

基准	指标（划分）	mix-224	mix-448
MMVP	配对准确率	46.00	45.33
POPE	准确率 (随机/流行/对抗)	88.00 86.63 85.67	89.37 88.40 87.47
GQA	准确率（测试）	65.20	65.47

单任务（单任务微调）

基准 (训练划分)	指标 (划分)	pt-224	pt-448	pt-896
描述生成
COCO描述 (train+restval)	CIDEr（验证）	141.92	144.60
NoCaps (COCO描述迁移评估)	CIDEr（验证）	121.72	123.58

伦理与安全

评估方法

我们的评估方法包括结构化评估和相关内容政策的内部红队测试。红队由多个团队执行，各团队有不同的目标和人工评估指标。针对伦理与安全的多个类别进行评估，包括：

• 儿童安全、内容安全和代表性危害提示的人工评估（评估方法详见Gemma模型卡，但采用图像描述和视觉问答设置）
• 图像到文本基准评估：针对FairFace数据集(Karkkainen等，2021)等相关学术数据集进行基准测试

评估结果

• 伦理与安全评估的人工评估结果符合内部政策的可接受阈值
• 除内部评估外，还使用Perspective API(阈值0.8)测量来自FairFace数据集图像生成描述的毒性、脏话等问题。报告感知性别、种族和年龄属性的各子组观察到的最大值和中位数

指标	感知 性别		种族		年龄组
	最大值	中位数	最大值	中位数	最大值	中位数
毒性	0.04%	0.03%	0.08%	0.00%	0.09%	0.00%

使用与限制

预期用途

开放视觉语言模型(VLM)在各行业和领域有广泛应用。以下潜在用途列表非详尽，旨在提供模型创建者在训练和开发过程中考虑的可能用例背景。

特定视觉语言任务微调：

• 图像/短视频描述、视觉问答、文本阅读、目标检测与分割等任务
• 遥感问答、视障人士视觉问题、科学问答、UI元素功能描述等特定领域
• 边界框或分割掩码等非文本输出任务

视觉语言研究：

• 预训练和微调模型可作为研究人员实验VLM技术、开发算法的基础

伦理考虑与风险

开发视觉语言模型(VLM)引发多项伦理问题。在创建开放模型时，我们仔细考虑了以下方面：

• 偏见与公平性
  • 大规模真实世界图文数据训练的VLM可能反映训练材料中的社会文化偏见。这些模型经过严格审查，采用本卡所述的数据预处理和后评估
• 错误信息与滥用
  • VLM可能被滥用生成虚假、误导或有害文本
  • 提供负责任生成式AI工具包指导负责任使用
• 透明度与问责制
  • 本模型卡总结模型架构、能力、限制和评估流程细节
  • 负责任开发的开放模型通过使VLM技术对AI生态系统中开发者和研究人员可访问，提供创新共享机会

已识别风险与缓解措施：

• 偏见延续: 鼓励在模型训练、微调等用例中持续监控（使用评估指标、人工审查）和探索去偏技术
• 有害内容生成: 内容安全机制和指南至关重要。开发者应根据具体产品政策和应用场景谨慎实施适当的内容安全防护
• 恶意用途: 技术限制和开发者/终端用户教育可帮助缓解LLM的恶意应用。提供教育资源和用户标记滥用的报告机制。Gemma禁止使用政策概述了Gemma模型的禁止用途
• 隐私侵犯: 模型训练数据已过滤移除某些个人信息和敏感数据。鼓励开发者遵守隐私法规，采用隐私保护技术

限制

• 底层Gemma模型的大多数限制仍然适用：
  • VLM更擅长可通过清晰提示和指令框架化的任务。开放性或高度复杂任务可能具有挑战性
  • 自然语言本质复杂。VLM可能难以把握细微差别、讽刺或比喻语言
  • VLM基于训练数据集学习的信息生成响应，但非知识库。可能生成不正确或过时的事实陈述
  • VLM依赖语言和图像的统计模式。某些情况下可能缺乏常识推理能力
• PaliGemma首先设计作为通用预训练模型用于迁移到专门任务。因此其"开箱即用"或"零样本"性能可能落后于专门设计的模型
• PaliGemma非多轮聊天机器人。设计用于单轮图像和文本输入

引用

@article{beyer2024paligemma,
    title={{PaliGemma: A versatile 3B VLM for transfer}},
    author={Lucas Beyer* and Andreas Steiner* and André Susano Pinto* and Alexander Kolesnikov* and Xiao Wang* and Daniel Salz and Maxim Neumann and Ibrahim Alabdulmohsin and Michael Tschannen and Emanuele Bugliarello and Thomas Unterthiner and Daniel Keysers and Skanda Koppula and Fangyu Liu and Adam Grycner and Alexey Gritsenko and Neil Houlsby and Manoj Kumar and Keran Rong and Julian Eisenschlos and Rishabh Kabra and Matthias Bauer and Matko Bošnjak and Xi Chen and Matthias Minderer and Paul Voigtlaender and Ioana Bica and Ivana Balazevic and Joan Puigcerver and Pinelopi Papalampidi and Olivier Henaff and Xi Xiong and Radu Soricut and Jeremiah Harmsen and Xiaohua Zhai*},
    year={2024},
    journal={arXiv preprint arXiv:2407.07726}
}

论文链接此处。