库名称：transformers
许可证：gemma
流水线标签：图像文本到文本
额外授权标题：在Hugging Face上访问PaliGemma
额外授权提示：要访问Hugging Face上的PaliGemma，您需要审阅并同意Google的使用许可。请确保您已登录Hugging Face并点击下方按钮。请求将立即处理。
额外授权按钮内容：确认许可

PaliGemma模型卡

模型页面: PaliGemma

Transformers PaliGemma 3B权重，基于896*896输入图像在DocVQA数据集上微调。模型提供float32、bfloat16和float16格式，仅供研究使用。微调配置详见big_vision。

资源与技术文档:

• 负责任生成式AI工具包
• Kaggle上的PaliGemma
• Vertex Model Garden中的PaliGemma

使用条款: 条款

作者: Google

模型信息

模型概述

描述

PaliGemma是一款多功能轻量级视觉语言模型(VLM)，灵感来自PaLI-3，基于SigLIP视觉模型和Gemma语言模型等开放组件。它接收图像和文本输入并生成文本输出，支持多语言。专为在图像/短视频描述、视觉问答、文本阅读、目标检测与分割等广泛视觉语言任务上实现领先的微调性能而设计。

架构

PaliGemma由Transformer解码器和Vision Transformer图像编码器组成，总计30亿参数。文本解码器初始化自Gemma-2B，图像编码器初始化自SigLIP-So400m/14，训练遵循PaLI-3方案。

输入输出

• 输入: 图像和文本字符串（如图像描述提示或问题）
• 输出: 生成的响应文本（如图像描述、问题答案、目标坐标列表或分割代码）

模型数据

预训练数据集

PaliGemma预训练数据混合包括：

• WebLI: 从公开网络构建的多语言图文数据集，用于获取视觉语义理解、目标定位、多语言等能力
• CC3M-35L: 网页英文图像-替代文本对(Sharma等, 2018)，通过Google翻译API扩展至34种语言
• VQ²A-CC3M-35L/VQG-CC3M-35L: VQ2A-CC3M子集，翻译为与CC3M-35L相同的34种语言
• OpenImages: 基于OpenImages数据集的手工规则生成的目标检测问答(Piergiovanni等, 2022)
• WIT: 维基百科收集的图文数据(Srinivasan等, 2021)

数据责任过滤

对WebLI应用以下过滤确保数据清洁：

• 色情图像过滤
• 文本安全过滤（移除涉及CSAI、色情、低俗或攻击性内容）
• 文本毒性过滤（使用Perspective API识别侮辱、淫秽、仇恨等内容）
• 文本个人信息过滤（通过Cloud DLP API移除社保号等敏感信息）
• 其他方法：根据政策的内容质量与安全过滤

使用方式

PaliGemma是单轮视觉语言模型，不适合对话场景，在针对特定用例微调时表现最佳。

可通过任务前缀（如"detect"或"segment"）配置模型任务。预训练模型通过此类提示结构获得丰富能力（问答、描述、分割等），但设计初衷是通过类似提示结构微调到具体任务。交互测试可使用"mix"系列模型（已在多任务混合上微调）。

详见使用与限制章节或访问博客文章获取更多示例。

Transformers中使用

以下代码示例使用google/paligemma-3b-mix-224模型。当前仓库中的模型可能针对其他任务训练，请确保输入与任务匹配。

CPU上运行默认精度(float32)

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration  
from PIL import Image  
import requests  
import torch  

model_id = "google/paligemma-3b-mix-224"  
url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"  
image = Image.open(requests.get(url, stream=True).raw)  

model = PaliGemmaForConditionalGeneration.from_pretrained(model_id).eval()  
processor = AutoProcessor.from_pretrained(model_id)  

# 指示模型生成西班牙语描述  
prompt = "caption es"  
model_inputs = processor(text=prompt, images=image, return_tensors="pt")  
input_len = model_inputs["input_ids"].shape[-1]  

with torch.inference_mode():  
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)  
    generation = generation[0][input_len:]  
    decoded = processor.decode(generation, skip_special_tokens=True)  
    print(decoded)  

输出: Un auto azul estacionado frente a un edificio.

CUDA上运行其他精度

仓库已提供转换为bfloat16和float16的权重版本，可减少下载大小并避免本地转换。

以下示例在NVIDIA CUDA显卡上运行bfloat16：

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration  
from PIL import Image  
import requests  
import torch  

model_id = "google/paligemma-3b-mix-224"  
device = "cuda:0"  
dtype = torch.bfloat16  

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"  
image = Image.open(requests.get(url, stream=True).raw)  

model = PaliGemmaForConditionalGeneration.from_pretrained(  
    model_id,  
    torch_dtype=dtype,  
    device_map=device,  
    revision="bfloat16",  
).eval()  
processor = AutoProcessor.from_pretrained(model_id)  

prompt = "caption es"  
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(model.device)  
input_len = model_inputs["input_ids"].shape[-1]  

with torch.inference_mode():  
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)  
    generation = generation[0][input_len:]  
    decoded = processor.decode(generation, skip_special_tokens=True)  
    print(decoded)  

4-bit/8-bit加载

需安装bitsandbytes实现低精度推理：

pip install bitsandbytes accelerate  

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration, BitsAndBytesConfig  
from PIL import Image  
import requests  
import torch  

model_id = "google/paligemma-3b-mix-224"  
device = "cuda:0"  

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"  
image = Image.open(requests.get(url, stream=True).raw)  

quantization_config = BitsAndBytesConfig(load_in_8bit=True)  

model = PaliGemmaForConditionalGeneration.from_pretrained(  
    model_id, quantization_config=quantization_config  
).eval()  
processor = AutoProcessor.from_pretrained(model_id)  

prompt = "caption es"  
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(model.device)  
input_len = model_inputs["input_ids"].shape[-1]  

with torch.inference_mode():  
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)  
    generation = generation[0][input_len:]  
    decoded = processor.decode(generation, skip_special_tokens=True)  
    print(decoded)  

实现信息

硬件

使用最新一代TPU硬件(TPUv5e)训练。

软件

使用JAX、Flax、TFDS和big_vision训练。微调与推理代码发布于big_vision仓库。

评估信息

基准结果

为验证PaliGemma在学术任务上的可迁移性，我们在各任务上微调预训练模型，并报告不同分辨率下的结果（所有任务数据均未出现在预训练数据中）。

混合模型（多任务微调）

（完整基准结果表格因篇幅限制未完整展示，包含图像描述、问答、分割、视频任务等数十项指标）

伦理与安全

评估方法

通过结构化评估和内部红队测试评估内容政策合规性，涵盖儿童安全、内容安全和表征危害等类别，同时使用FairFace数据集等基准进行图像-文本评估。

评估结果

• 伦理安全评估结果符合内部政策阈值
• 使用Perspective API(阈值0.8)测量FairFace图像生成描述的毒性，报告不同人口属性组的最大值/中位数：

指标	感知性别	种族	年龄组
毒性	0.04%/0.03%	0.08%/0.00 Clip Vit Large Patch14 CLIP是由OpenAI开发的视觉-语言模型，通过对比学习将图像和文本映射到共享的嵌入空间，支持零样本图像分类 图像生成文本 C openai 44.7M 1,710 Clip Vit Base Patch32 CLIP是由OpenAI开发的多模态模型，能够理解图像和文本之间的关系，支持零样本图像分类任务。 图像生成文本 C openai 14.0M 666 Siglip So400m Patch14 384 Apache-2.0 SigLIP是基于WebLi数据集预训练的视觉语言模型，采用改进的sigmoid损失函数，优化了图像-文本匹配任务。 图像生成文本 Transformers S google 6.1M 526 Clip Vit Base Patch16 CLIP是由OpenAI开发的多模态模型，通过对比学习将图像和文本映射到共享的嵌入空间，实现零样本图像分类能力。 图像生成文本 C openai 4.6M 119 Blip Image Captioning Base Bsd-3-clause BLIP是一个先进的视觉-语言预训练模型，擅长图像描述生成任务，支持条件式和非条件式文本生成。 图像生成文本 Transformers B Salesforce 2.8M 688 Blip Image Captioning Large Bsd-3-clause BLIP是一个统一的视觉-语言预训练框架，擅长图像描述生成任务，支持条件式和无条件式图像描述生成。 图像生成文本 Transformers B Salesforce 2.5M 1,312 Openvla 7b MIT OpenVLA 7B是一个基于Open X-Embodiment数据集训练的开源视觉-语言-动作模型，能够根据语言指令和摄像头图像生成机器人动作。 图像生成文本 Transformers 英语 O openvla 1.7M 108 Llava V1.5 7b LLaVA 是一款开源多模态聊天机器人，基于 LLaMA/Vicuna 微调，支持图文交互。 图像生成文本 Transformers L liuhaotian 1.4M 448 Vit Gpt2 Image Captioning Apache-2.0 这是一个基于ViT和GPT2架构的图像描述生成模型，能够为输入图像生成自然语言描述。 图像生成文本 Transformers V nlpconnect 939.88k 887 Blip2 Opt 2.7b MIT BLIP-2是一个视觉语言模型，结合了图像编码器和大型语言模型，用于图像到文本的生成任务。 图像生成文本 Transformers 英语 B Salesforce 867.78k 359 精选推荐AI模型 Llama 3 Typhoon V1.5x 8b Instruct 专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务 大型语言模型 Transformers 支持多种语言 L scb10x 3,269 16 Cadet Tiny Openrail Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。 对话系统 Transformers 英语 C ToddGoldfarb 2,691 6 Roberta Base Chinese Extractive Qa 基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。 问答系统 中文 R uer 2,694 98 AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。 简体中文 热门模型 Llama 3 Typhoon V1.5x 8b Instruct Cadet Tiny Roberta Base Chinese Extractive Qa 热门模型分类 大型语言模型 图像生成 语音识别 图像分类 文本嵌入 文本分类 机器翻译 全部分类 热门标签 多语言支持 低资源优化 低词错误率 高准确率 基于Transformer 轻量级BERT SentencePiece预处理 © 2025AIbase 备案号：闽ICP备08105208号-24 网站地图 用户协议 隐私政策