许可证：gemma 库名称：transformers 流水线标签：图像文本到文本 额外授权标题：在Hugging Face上访问Gemma 额外授权提示：要在Hugging Face上访问Gemma，您需要审阅并同意Google的使用许可。为此，请确保您已登录Hugging Face并点击下方按钮。请求将立即处理。 额外授权按钮内容：确认许可 基础模型：google/gemma-3-4b-it

Gemma 3量化模型

本仓库包含Google Gemma 3指令调优模型的W4A16量化版本，使其在保持良好性能的同时，更易于在消费级硬件上部署。

模型列表

• abhishekchohan/gemma-3-27b-it-quantized-W4A16
• abhishekchohan/gemma-3-12b-it-quantized-W4A16
• abhishekchohan/gemma-3-4b-it-quantized-W4A16

仓库结构

gemma-3-{size}-it-quantized-W4A16/
├── README.md
├── templates/
│   └── chat_template.jinja
├── tools/
│   └── tool_parser.py
└── [模型文件]

量化细节

这些模型通过LLM Compressor采用W4A16量化：

• 权重量化至4位精度
• 激活值使用16位精度
• 显著降低内存需求

使用vLLM运行

vllm serve abhishekchohan/gemma-3-{size}-it-quantized-W4A16 --chat-template templates/chat_template.jinja --enable-auto-tool-choice --tool-call-parser gemma --tool-parser-plugin tools/tool_parser.py

许可协议

这些模型受Gemma许可协议约束。用户在使用前必须确认并接受许可条款。

引用文献

@article{gemma_2025,
    title={Gemma 3},
    url={https://goo.gle/Gemma3Report},
    publisher={Kaggle},
    author={Gemma Team},
    year={2025}
}