license: gemma
library_name: transformers
pipeline_tag: image-text-to-text
extra_gated_heading: 访问Hugging Face上的Gemma
extra_gated_prompt: 要访问Hugging Face上的Gemma，您需要审阅并同意Google的使用许可。请确保您已登录Hugging Face账号并点击下方按钮。请求将立即处理。
extra_gated_button_content: 确认许可
base_model: google/gemma-3-12b-it

Gemma 3 12B指令调优INT4版本

这是从Kaggle获取的QAT INT4 Flax检查点，已转换为HF+AWQ格式以便使用（未使用AWQ量化）。转换脚本convert_flax.py可在本模型仓库中找到。

注意：此版本与官方发布的QAT INT4 GGUFs不同（官方版本见huggingface.co/collections/google/gemma-3-qat-67ee61ccacbf2be4195c265b）。

以下为原模型卡片内容（源自huggingface.co/google/gemma-3-12b-it）：

Gemma 3模型卡片

模型主页: Gemma

资源与技术文档:

• [Gemma 3技术报告][g3-tech-report]
• [负责任生成式AI工具包][rai-toolkit]
• [Kaggle上的Gemma][kaggle-gemma]
• [Vertex Model Garden中的Gemma][vertex-mg-gemma3]

使用条款: [条款][terms]

作者: Google DeepMind

模型信息

描述

Gemma是谷歌推出的轻量级尖端开源模型家族，基于与Gemini模型相同的研究技术构建。Gemma 3为多模态模型，支持文本/图像输入与文本输出，提供预训练和指令调优两种权重版本。其特点包括：

• 128K超大上下文窗口
• 支持140+种语言
• 提供比前代更多的参数量级选择
• 适合问答、摘要、推理等文本生成与图像理解任务
• 紧凑体积使其可部署于笔记本/台式机等资源受限环境

输入输出

• 输入:
  • 文本（问题/提示/待总结文档）
  • 图像（归一化为896x896分辨率，编码为256 tokens/张）
  • 总输入上下文：1B模型32K tokens，4B/12B/27B模型128K tokens
• 输出:
  • 生成文本（答案/图像分析/文档摘要等）
  • 总输出上下文：8192 tokens

使用示例

安装适配Gemma 3的Transformers库：

pip install git+https://github.com/huggingface/transformers@v4.49.0-Gemma-3  

通过pipeline调用

from transformers import pipeline  
pipe = pipeline("image-text-to-text", model="google/gemma-3-12b-it", device="cuda")  

messages = [  
    {"role": "user", "content": [  
        {"type": "image", "url": "https://example.com/candy.jpg"},  
        {"type": "text", "text": "糖果上是什么动物？"}  
    ]}  
]  
print(pipe(text=messages, max_new_tokens=200)[0]["generated_text"])  
# 输出示例：糖果上的动物是**乌龟**，可见其壳状轮廓和头足部  

单卡/多卡运行

model = Gemma3ForConditionalGeneration.from_pretrained("google/gemma-3-12b-it", device_map="auto")  
inputs = processor.apply_chat_template(messages, return_tensors="pt").to(model.device)  
generation = model.generate(**inputs, max_new_tokens=100)  
print(processor.decode(generation[0], skip_special_tokens=True))  

模型数据

训练数据

• 数据量:
  • 27B模型：14万亿tokens
  • 12B模型：12万亿tokens
  • 4B模型：4万亿tokens
  • 1B模型：2万亿tokens
• 数据组成:
  • 网页文档（覆盖140+种语言）
  • 代码（提升编程语法理解）
  • 数学文本（增强逻辑推理）
  • 图像数据（支持视觉分析）

数据预处理

• CSAM（儿童性虐待材料）过滤
• 敏感数据过滤
• 基于[安全政策][safety-policies]的质量筛选

实现细节

硬件

使用TPUv4p/v5p/v5e训练，优势包括：

• 专为机器学习矩阵运算优化
• 大内存支持大批量训练
• 通过TPU Pods实现高效分布式训练

软件

基于JAX和ML Pathways框架开发，延续[Gemini模型论文][gemini-2-paper]的"单控制器"编程范式。

评估结果

核心能力指标

伦理与安全

安全评估

通过红队测试评估以下维度：

• 儿童安全（CSAM相关策略）
• 内容安全（暴力/仇恨言论等）
• 表征危害（偏见/刻板印象）

评估显示：

• 相比前代Gemma模型有显著改进
• 所有尺寸模型均表现出最低策略违规率
• 当前局限：仅测试英文提示

使用限制

适用场景

• 内容创作（文本/图像生成）
• 研究教育（NLP实验/语言学习）
• 知识探索（文档摘要/问答）

风险与缓解

• 偏见问题: 持续监控+去偏技术
• 有害内容: 开发者需实施内容安全措施
• 隐私风险: 训练数据已过滤个人信息