license: gemma
library_name: transformers
pipeline_tag: image-text-to-text
tags:

• int4
• vllm
• llmcompressor
  base_model: google/gemma-3-27b-it

gemma-3-27b-it-GPTQ-4b-128g

模型概述

该模型通过对gemma-3-27b-it的权重进行INT4量化获得。此优化将每个参数的比特数从16降至4，使磁盘占用和GPU内存需求减少约75%。

仅对language_model转换器块中的线性算子权重进行量化，视觉模型和多模态投影部分保持原始精度。权重采用对称分组量化方案，组大小为128，并使用GPTQ算法完成量化。

模型检查点以compressed_tensors格式保存。

评估

该模型在OpenLLM v1基准测试中进行了评估，模型输出由vLLM引擎生成。

复现方法

通过以下命令获得评估结果：

MODEL=ISTA-DASLab/gemma-3-27b-it-GPTQ-4b-128g  
MODEL_ARGS="pretrained=$MODEL,max_model_len=4096,tensor_parallel_size=1,dtype=auto,gpu_memory_utilization=0.80"  

lm_eval \  
  --model vllm \  
  --model_args $MODEL_ARGS \  
  --tasks openllm \  
  --batch_size auto  

使用指南

• 在transformers中使用本模型需更新至Gemma3稳定版：
  pip install git+https://github.com/huggingface/transformers@v4.49.0-Gemma-3
• 在vLLM中使用需更新至包含此PR的版本。

以下为通过transformers进行推理的示例：

# pip install accelerate  

from transformers import AutoProcessor, Gemma3ForConditionalGeneration  
from PIL import Image  
import requests  
import torch  

model_id = "ISTA-DASLab/gemma-3-27b-it-GPTQ-4b-128g"  

model = Gemma3ForConditionalGeneration.from_pretrained(  
    model_id, device_map="auto"  
).eval()  

processor = AutoProcessor.from_pretrained(model_id)  

messages = [  
    {  
        "role": "system",  
        "content": [{"type": "text", "text": "你是一个乐于助人的助手。"}]  
    },  
    {  
        "role": "user",  
        "content": [  
            {"type": "image", "image": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bee.jpg"},  
            {"type": "text", "text": "详细描述这张图片。"}  
        ]  
    }  
]  

inputs = processor.apply_chat_template(  
    messages, add_generation_prompt=True, tokenize=True,  
    return_dict=True, return_tensors="pt"  
).to(model.device, dtype=torch.bfloat16)  

input_len = inputs["input_ids"].shape[-1]  

with torch.inference_mode():  
    generation = model.generate(**inputs, max_new_tokens=100, do_sample=False)  
    generation = generation[0][input_len:]  

decoded = processor.decode(generation, skip_special_tokens=True)  
print(decoded)  

# **整体印象：** 这张特写照片捕捉了花园的生动场景，聚焦于一簇粉色的波斯菊和一只忙碌的熊蜂。  
# 画面略带柔和的自然质感，可能是在日光下拍摄的。