🚀 PaliGemma 2模型卡片

PaliGemma 2是一款多功能的视觉语言模型（VLM），它结合了图像和文本处理能力，可用于图像描述、视觉问答等多种任务。该模型基于Gemma 2架构，经过在多个数据集上的预训练和微调，具有出色的性能和广泛的适用性。

模型信息链接

• 模型页面：PaliGemma
• 资源和技术文档：
  • PaliGemma 2 on Kaggle
  • Responsible Generative AI Toolkit
• 使用条款：Terms
• 作者：Google

🚀 快速开始

要访问Hugging Face上的PaliGemma，你需要查看并同意Google的使用许可。请确保你已登录Hugging Face，然后点击下方按钮。请求将立即处理。 [确认许可](Acknowledge license)

Transformers PaliGemma 2 10B权重是在DOCCI数据集上使用448*448输入图像进行微调的。该模型仅以bfloat16格式提供，用于研究目的。微调配置可在big_vision中找到。

✨ 主要特性

• 多模态处理：能够同时处理图像和文本输入，生成文本输出。
• 多语言支持：支持多种语言，适用于不同地区的用户。
• 高性能微调：在多种视觉语言任务上具有出色的微调性能。

📦 安装指南

本部分未提及具体安装步骤，暂不提供相关内容。

💻 使用示例

基础用法

from transformers import (
    PaliGemmaProcessor,
    PaliGemmaForConditionalGeneration,
)
from transformers.image_utils import load_image
import torch

model_id = "google/paligemma2-3b-ft-docci-448"

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg"
image = load_image(url)

model = PaliGemmaForConditionalGeneration.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto").eval()
processor = PaliGemmaProcessor.from_pretrained(model_id)

# Instruct the model to create a caption in English
prompt = "caption en"
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(torch.bfloat16).to(model.device)
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

📚 详细文档

模型信息

模型概述

PaliGemma 2是PaliGemma视觉语言模型（VLM）的更新版本，它融合了Gemma 2模型的能力。PaliGemma系列模型受到PaLI - 3的启发，基于开放组件构建，如SigLIP视觉模型和Gemma 2语言模型。它以图像和文本作为输入，生成文本作为输出，支持多种语言。该模型专为在各种视觉语言任务（如图像和短视频描述、视觉问答、文本阅读、目标检测和目标分割）上实现领先的微调性能而设计。

模型架构

PaliGemma 2由Transformer解码器和Vision Transformer图像编码器组成。文本解码器从Gemma 2的2B、9B和27B参数大小版本初始化。图像编码器从SigLIP - So400m/14初始化。与原始的PaliGemma模型类似，PaliGemma 2按照PaLI - 3的方法进行训练。

输入和输出

• 输入：图像和文本字符串，如图像描述提示或问题。
• 输出：针对输入生成的文本，如图像描述、问题答案、目标边界框坐标列表或分割码字。

引用

@article{
    title={PaliGemma 2: A Family of Versatile VLMs for Transfer},
    author={Andreas Steiner and André Susano Pinto and Michael Tschannen and Daniel Keysers and Xiao Wang and Yonatan Bitton and Alexey Gritsenko and Matthias Minderer and Anthony Sherbondy and Shangbang Long and Siyang Qin and Reeve Ingle and Emanuele Bugliarello and Sahar Kazemzadeh and Thomas Mesnard and Ibrahim Alabdulmohsin and Lucas Beyer and Xiaohua Zhai},
    year={2024},
    journal={arXiv preprint arXiv:2412.03555}
}

模型数据

预训练数据集

PaliGemma 2在以下数据集的混合上进行预训练：

• WebLI：WebLI (Web Language Image)是一个基于公共网络构建的网络规模多语言图像 - 文本数据集。使用了多种WebLI分割来获得通用的模型能力，如视觉语义理解、目标定位、视觉情境文本理解和多语言能力。
• CC3M - 35L：从网页中精心挑选的英语图像 - 替代文本对（Sharma et al., 2018）。使用Google Cloud Translation API将其翻译成另外34种语言。
• VQ²A - CC3M - 35L/VQG - CC3M - 35L：VQ2A - CC3M的一个子集（Changpinyo et al., 2022a），使用Google Cloud Translation API翻译成与CC3M - 35L相同的另外34种语言。
• OpenImages：基于OpenImages数据集通过手工规则生成的检测和目标感知问题及答案（Piergiovanni et al. 2022）。
• WIT：从维基百科收集的图像和文本（Srinivasan et al., 2021）。

PaliGemma 2基于Gemma 2，你可以在Gemma 2模型卡片中找到Gemma 2的预训练数据集信息。

数据责任过滤

为了在安全和负责任的数据上训练PaliGemma 2，对WebLI应用了以下过滤：

• 色情图像过滤：此过滤器去除被认为具有色情性质的图像。
• 文本安全过滤：识别并过滤掉与不安全文本配对的图像。不安全文本是指任何被认为包含或涉及儿童性虐待图像（CSAI）、色情内容、粗俗内容或其他冒犯性内容的文本。
• 文本毒性过滤：进一步使用Perspective API识别并过滤掉与被认为具有侮辱性、淫秽性、仇恨性或其他毒性的文本配对的图像。
• 文本个人信息过滤：使用Cloud Data Loss Prevention (DLP) API过滤某些个人信息和其他敏感数据，以保护个人隐私。去除了如社会安全号码和其他敏感信息类型等标识符。
• 其他方法：根据我们的政策和实践，基于内容质量和安全性进行过滤。

🔧 技术细节

硬件

PaliGemma 2使用最新一代的张量处理单元（TPU）硬件（TPUv5e）进行训练。

软件

训练使用JAX、Flax、TFDS和big_vision完成。

JAX允许研究人员利用最新一代的硬件（包括TPU）来更快、更高效地训练大型模型。

TFDS用于访问数据集，Flax用于模型架构。PaliGemma 2的微调代码和推理代码在big_vision GitHub仓库中发布。

📊 评估信息

基准测试结果

为了验证PaliGemma 2在各种学术任务上的可迁移性，我们在每个任务上对预训练模型进行微调。我们报告了不同分辨率下的结果，以了解哪些任务受益于更高的分辨率。重要的是，这些任务或数据集都不是预训练数据混合的一部分，并且它们的图像已从网络规模的预训练数据中明确移除。

按模型分辨率和大小划分的PaliGemma 2结果

其他基准测试

[ICDAR 2015 Incidental][icdar2015 - inc]

[Total - Text][total - text]

[FinTabNet][fintabnet]

[PubTabNet][pubtabnet]

[GrandStaff][grandstaff]

[PubChem][pubchem]

• PaliGemma 2 3B，完全匹配：94.8

[DOCCI][docci]

• avg#char：平均字符数
• avg#sent：平均句子数
• NES：非蕴含句子

[MIMIC - CXR][mimic - cxr]

[Visual Spatial Reasoning][vsr]

📄 许可证

本模型基于gemma许可证。