库名称：transformers 许可证：gemma 流水线标签：图像文本到文本 额外授权标题：在Hugging Face上访问PaliGemma 额外授权提示：要在Hugging Face上访问PaliGemma，您需要审阅并同意Google的使用许可。为此，请确保您已登录Hugging Face并点击下方。请求将立即处理。 额外授权按钮内容：确认许可

PaliGemma模型卡片

模型页面: PaliGemma

Transformers PaliGemma 3B权重，使用224*224输入图像和256个标记的输入/输出文本序列在多个下游学术数据集上进行了微调。这些模型仅用于研究目的，提供float32、bfloat16和float16格式。

资源和技术文档:

• 负责任生成AI工具包
• Kaggle上的PaliGemma
• Vertex Model Garden中的PaliGemma

使用条款: 条款

作者: Google

模型信息

模型概述

描述

PaliGemma是一款多功能且轻量级的视觉语言模型（VLM），灵感来自PaLI-3，并基于开放组件，如SigLIP视觉模型和Gemma语言模型。它接受图像和文本作为输入，并生成文本输出，支持多种语言。它旨在在广泛的视觉语言任务（如图像和短视频字幕、视觉问答、文本阅读、目标检测和目标分割）上实现领先的微调性能。

模型架构

PaliGemma由Transformer解码器和Vision Transformer图像编码器组成，总参数量为30亿。文本解码器从Gemma-2B初始化。图像编码器从SigLIP-So400m/14初始化。PaliGemma的训练遵循PaLI-3的配方。

输入和输出

• 输入: 图像和文本字符串，例如为图像生成字幕的提示或问题。
• 输出: 生成的文本响应输入，如图像的字幕、问题的答案、目标边界框坐标列表或分割代码字。

模型数据

预训练数据集

PaliGemma在以下数据集的混合上进行了预训练：

• WebLI: WebLI（Web语言图像）是从公共网页构建的网页级多语言图像文本数据集。使用广泛的WebLI分割来获取多样化的模型能力，如视觉语义理解、目标定位、视觉文本理解、多语言性等。
• CC3M-35L: 从网页中提取的英语图像-alt_text对（Sharma等人，2018）。我们使用Google Cloud Translation API将其翻译成34种其他语言。
• VQ²A-CC3M-35L/VQG-CC3M-35L: VQ2A-CC3M的子集（Changpinyo等人，2022a），使用Google Cloud Translation API翻译成与CC3M-35L相同的34种其他语言。
• OpenImages: 检测和目标感知问题与答案（Piergiovanni等人，2022），基于OpenImages数据集的手工规则生成。
• WIT: 从维基百科收集的图像和文本（Srinivasan等人，2021）。

数据责任过滤

对WebLI应用了以下过滤器，目的是在干净数据上训练PaliGemma：

• 色情图像过滤: 此过滤器移除被视为色情性质的图像。
• 文本安全过滤: 我们识别并过滤掉与不安全文本配对的图像。不安全文本是指被视为包含或涉及CSAI、色情、粗俗或其他冒犯性内容的文本。
• 文本毒性过滤: 我们进一步使用Perspective API识别并过滤掉与被视为侮辱、淫秽、仇恨或其他有毒文本配对的图像。
• 文本个人信息过滤: 我们使用Cloud Data Loss Prevention (DLP) API过滤某些个人信息和其他敏感数据，以保护个人隐私。移除了如社会安全号码和其他敏感信息类型等标识符。
• 其他方法: 根据我们的政策和实践，基于内容质量和安全性进行过滤。