license: gemma
library_name: transformers
pipeline_tag: text-generation
extra_gated_heading: 访问Hugging Face上的Gemma
extra_gated_prompt: 要访问Hugging Face上的Gemma，您需要审阅并同意Google的使用许可。请确保您已登录Hugging Face账号并点击下方按钮。请求将立即处理。
extra_gated_button_content: 确认许可
base_model: google/gemma-3-1b-pt

Gemma 3模型卡

模型主页: Gemma

资源与技术文档:

• Gemma 3技术报告
• 负责任生成式AI工具包
• Kaggle上的Gemma
• Vertex Model Garden上的Gemma 3

使用条款: 条款

作者: Google DeepMind

模型信息

简要描述及输入输出的定义。

描述

Gemma是Google推出的一系列轻量级、前沿的开源模型，基于与创建Gemini模型相同的研究和技术构建。Gemma 3是多模态模型，可处理文本和图像输入并生成文本输出，其预训练变体和指令调优变体均开放权重。Gemma 3拥有128K的大上下文窗口，支持140多种语言，并提供比之前版本更多的尺寸选择。Gemma 3模型适用于多种文本生成和图像理解任务，包括问答、摘要和推理。其相对较小的体积使其能够在资源有限的环境中部署，如笔记本电脑、台式机或自有云基础设施，从而普及前沿AI模型的访问，促进大众创新。

输入与输出

• 输入:

  • 文本字符串，如问题、提示或待摘要的文档
  • 图像，归一化为896 x 896分辨率并编码为每个256个token
  • 4B、12B和27B尺寸的总输入上下文为128K token，1B尺寸为32K token

• 输出:

  • 根据输入生成的文本，如问题答案、图像内容分析或文档摘要
  • 总输出上下文为8192个token

使用示例

以下是快速运行模型的代码片段。首先安装Transformers库（Gemma 3需transformers 4.50.0及以上版本）：

$ pip install -U transformers  

使用pipeline API运行

指令调优模型需先使用聊天模板处理输入：

from transformers import pipeline  
import torch  

pipe = pipeline("text-generation", model="google/gemma-3-1b-it", device="cuda", torch_dtype=torch.bfloat16)  

messages = [  
    [  
        {"role": "system", "content": [{"type": "text", "text": "你是一个乐于助人的助手。"}]},  
        {"role": "user", "content": [{"type": "text", "text": "写一首关于Hugging Face公司的诗"}]},  
    ],  
]  

output = pipe(messages, max_new_tokens=50)  

单GPU/多GPU运行

from transformers import AutoTokenizer, BitsAndBytesConfig, Gemma3ForCausalLM  
import torch  

model_id = "google/gemma-3-1b-it"  
quantization_config = BitsAndBytesConfig(load_in_8bit=True)  
model = Gemma3ForCausalLM.from_pretrained(model_id, quantization_config=quantization_config).eval()  
tokenizer = AutoTokenizer.from_pretrained(model_id)  

inputs = tokenizer.apply_chat_template(  
    messages,  
    add_generation_prompt=True,  
    tokenize=True,  
    return_dict=True,  
    return_tensors="pt"  
).to(model.device).to(torch.bfloat16)  

with torch.inference_mode():  
    outputs = model.generate(**inputs, max_new_tokens=64)  
outputs = tokenizer.batch_decode(outputs)  

引用

@article{gemma_2025,  
    title={Gemma 3},  
    url={https://goo.gle/Gemma3Report},  
    publisher={Kaggle},  
    author={Gemma Team},  
    year={2025}  
}  

模型数据

训练数据集

这些模型在包含多种来源的文本数据集上训练：

• 网络文档: 多样化的网页文本覆盖广泛的语言风格、主题和词汇，训练数据涵盖140多种语言
• 代码: 帮助模型学习编程语言语法和模式
• 数学: 提升逻辑推理和符号表示能力
• 图像: 支持图像分析和视觉数据提取任务

数据预处理

关键清洗与过滤方法：

• CSAM过滤: 多阶段过滤儿童性虐待材料
• 敏感数据过滤: 自动过滤个人信息
• 其他方法: 基于安全政策的质量与安全过滤

实现信息

硬件

使用TPU硬件（TPUv4p/v5p/v5e）训练，其优势包括：

• 性能: 专为机器学习矩阵运算优化
• 内存: 大带宽内存支持大批量训练
• 可扩展性: TPU Pods集群支持分布式训练
• 成本效益: 相比CPU基础设施更具性价比

软件

使用JAX和ML Pathways框架训练，其特点包括：

• JAX: 支持TPU硬件加速
• ML Pathways: Google的多任务AI系统开发框架

评估

基准测试结果

模型在多个领域进行评估：

推理与事实性

STEM与代码

多语言

多模态

伦理与安全

评估方法

通过结构化评估和内部红队测试验证内容政策合规性，重点评估：

• 儿童安全
• 内容安全
• 表征性危害

评估结果

相比前代Gemma模型，在所有安全测试领域均有显著改进。

使用与限制

适用场景

• 内容创作（文本生成、聊天机器人）
• 研究与教育（NLP研究、语言学习工具）

局限性

• 训练数据偏差可能影响输出
• 复杂任务或模糊语言处理存在挑战
• 可能生成不准确事实陈述

伦理风险与缓解

• 偏见延续: 建议持续监控和去偏技术
• 有害内容生成: 需实施内容安全机制
• 恶意滥用: 禁止用途见禁止使用政策
• 隐私风险: 训练数据已过滤敏感信息

优势

相比同类开源模型，提供更高性能的多模态实现。