license: gemma library_name: transformers pipeline_tag: image-text-to-text extra_gated_heading: 访问Hugging Face上的Gemma extra_gated_prompt: 要访问Hugging Face上的Gemma模型，您需要审阅并同意Google的使用许可协议。请确保已登录Hugging Face账号并点击下方按钮。请求将立即处理。 extra_gated_button_content: 确认许可协议 base_model: google/gemma-3-27b-it

Gemma 3量化模型

本仓库包含Google Gemma 3指令调优模型的W4A16量化版本，使其在消费级硬件上更易于部署，同时保持良好的性能表现。

模型列表

• abhishekchohan/gemma-3-27b-it-quantized-W4A16
• abhishekchohan/gemma-3-12b-it-quantized-W4A16
• abhishekchohan/gemma-3-4b-it-quantized-W4A16

仓库结构

gemma-3-{size}-it-quantized-W4A16/
├── README.md
├── templates/
│   └── chat_template.jinja
├── tools/
│   └── tool_parser.py
└── [模型文件]

量化细节

这些模型采用LLM Compressor工具进行W4A16量化：

• 权重参数量化为4位精度
• 激活值保持16位精度
• 显著降低内存需求

通过vLLM使用

vllm serve abhishekchohan/gemma-3-{size}-it-quantized-W4A16 --chat-template templates/chat_template.jinja --enable-auto-tool-choice --tool-call-parser gemma --tool-parser-plugin tools/tool_parser.py

许可协议

本模型受Gemma许可协议约束。使用前必须确认并接受相关条款。

引用格式

@article{gemma_2025,
    title={Gemma 3},
    url={https://goo.gle/Gemma3Report},
    publisher={Kaggle},
    author={Gemma Team},
    year={2025}
}