Gemma 3 12b Pt Qat Q4 0 Gguf

由 google 开发

Gemma 3是Google推出的轻量级开源多模态模型，支持文本与图像输入并生成文本输出，具有128K超长上下文窗口和140+语言支持。

图像生成文本 #多模态输入 #128K长上下文 #量化感知训练

下载量 475

发布时间 : 3/12/2025

模型介绍

内容详情

替代品

模型简介

基于Gemini技术的轻量级开源模型，适用于问答、摘要、推理等任务，支持图像理解与文本生成，可在资源受限环境中部署。

模型特点

量化感知训练

采用QAT技术实现高效量化（Q4_0），在降低内存占用的同时保持接近bfloat16的质量表现

超长上下文

支持128K token的上下文窗口，适合处理长文档和复杂任务

多模态支持

可同时处理文本和图像输入（896x896分辨率），实现跨模态理解

轻量部署

紧凑体积支持在笔记本、台式机等资源受限环境运行

模型能力

文本生成

图像内容分析

多语言处理

代码生成

逻辑推理

文档摘要

使用案例

内容创作

营销文案生成

根据产品描述自动生成广告文案

诗歌创作

基于主题或图像生成诗歌

研究教育

文献摘要

自动生成学术论文的简明摘要

编程教学

解释代码逻辑或生成教学示例

license: gemma
pipeline_tag: image-text-to-text
extra_gated_heading: 访问Hugging Face上的Gemma
extra_gated_prompt: >-
要访问Hugging Face上的Gemma，您需要审阅并同意Google的使用许可。为此，请确保您已登录Hugging Face并点击下方按钮。请求将立即处理。
extra_gated_button_content: 确认许可
base_model: google/gemma-3-12b-pt
tags:

gemma
gemma3

Gemma 3模型卡

模型页面: Gemma

[!注意]
本仓库对应Gemma 3模型的12B**预训练（基础）**版本，采用量化感知训练（QAT）的GGUF格式。此GGUF文件为Q4_0量化版本。大多数场景下，建议使用指令调优（IT）版GGUF。

得益于QAT技术，该模型在显著降低内存占用的同时，能保持与bfloat16相近的质量表现。

半精度版本可在此获取，指令调优模型的QAT版本请访问hf.co/google/gemma-3-12b-it-qat-q4_0-gguf。

资源与技术文档:

[Gemma 3技术报告][g3-tech-report]
[负责任生成式AI工具包][rai-toolkit]
[Kaggle上的Gemma][kaggle-gemma]
[Vertex Model Garden中的Gemma][vertex-mg-gemma3]

使用条款: [条款][terms]

作者: Google DeepMind

模型信息

概述模型功能及输入输出定义。

描述

Gemma是Google推出的轻量级尖端开源模型家族，基于与Gemini模型相同的研究技术构建。Gemma 3为多模态模型，支持文本与图像输入并生成文本输出，同时提供预训练和指令调优两种变体的开放权重。该系列模型拥有128K的超长上下文窗口，支持140多种语言，且型号选择比前代更丰富。Gemma 3适用于问答、摘要、推理等多种文本生成与图像理解任务，其紧凑体积使其可部署于笔记本、台式机或自有云基础设施等资源受限环境，推动尖端AI技术的普惠化创新。

输入输出

输入:
- 文本字符串（如问题、提示或待总结文档）
- 图像（归一化为896x896分辨率并编码为256 token/张）
- 总输入上下文长度：4B/12B/27B型号支持128K token，1B型号支持32K token
输出:
- 根据输入生成的响应文本（如问题答案、图像内容分析或文档摘要）
- 总输出上下文长度：8192 token

使用示例

快速运行模型的代码片段：

llama.cpp（纯文本）

./llama-cli -hf google/gemma-3-12b-pt-qat-q4_0-gguf -p "那是个风雨交加的夜晚。"

ollama（纯文本）
当前通过Hugging Face使用GGUF暂不支持图像输入，详见私有GGUF运行文档。

ollama run hf.co/google/gemma-3-12b-pt-qat-q4_0-gguf

引用

@article{gemma_2025,  
    title={Gemma 3},  
    url={https://goo.gle/Gemma3Report},  
    publisher={Kaggle},  
    author={Gemma Team},  
    year={2025}  
}