license: gemma base_model: google/paligemma-3b-pt-224 tags:

• generated_from_trainer datasets:
• HuggingFaceM4/VQAv2 model-index:
• name: paligemma_vqav2 results: []

paligemma_vqav2

该模型是基于google/paligemma-3b-pt-224在VQAv2数据集的一小部分上进行微调的版本。微调代码详见此处。

使用方法

以下是使用该模型的代码示例，也可参考推理笔记本。

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image
import requests

model_id = "merve/paligemma_vqav2"
model = PaliGemmaForConditionalGeneration.from_pretrained(model_id)
processor = AutoProcessor.from_pretrained("google/paligemma-3b-pt-224")

prompt = "猫后面是什么？"
image_file = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/cat.png?download=true"
raw_image = Image.open(requests.get(image_file, stream=True).raw)

inputs = processor(prompt, raw_image.convert("RGB"), return_tensors="pt")
output = model.generate(**inputs, max_new_tokens=20)

print(processor.decode(output[0], skip_special_tokens=True)[len(prompt):])
# 留声机

训练超参数

训练过程中使用的超参数如下：

• 学习率：2e-05
• 训练批次大小：4
• 评估批次大小：8
• 随机种子：42
• 梯度累积步数：4
• 总训练批次大小：16
• 优化器：Adam，参数beta=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型：线性
• 学习率预热步数：2
• 训练轮数：2

训练结果