license: gemma
pipeline_tag: image-text-to-text
extra_gated_heading: 访问Hugging Face上的Gemma
extra_gated_prompt: >-
要访问Hugging Face上的Gemma，您需要审阅并同意Google的使用许可。为此，请确保您已登录Hugging Face并点击下方按钮。请求将立即处理。
extra_gated_button_content: 确认许可
base_model: google/gemma-3-27b-pt
tags:

• gemma
• gemma3

Gemma 3模型卡

模型页面: Gemma

[!注意]
本仓库对应Gemma 3模型的27B**预训练（基础）**版本，采用GGUF格式的量化感知训练（QAT）。
GGUF对应Q4_0量化。对于大多数用例，您会需要使用IT GGUF版本。

得益于QAT，该模型能够在显著降低加载内存需求的同时，保持与bfloat16相近的质量。

您可以在此处找到半精度版本，在此处找到指令调优模型的QAT版本。

资源与技术文档:

• [Gemma 3技术报告][g3-tech-report]
• [负责任生成式AI工具包][rai-toolkit]
• [Kaggle上的Gemma][kaggle-gemma]
• [Vertex Model Garden上的Gemma][vertex-mg-gemma3]

使用条款: [条款][terms]

作者: Google DeepMind

模型信息

模型概述及输入输出的简要定义。

描述

Gemma是谷歌推出的轻量级尖端开放模型家族，基于与Gemini模型相同的研究和技术构建。Gemma 3模型为多模态模型，可处理文本和图像输入并生成文本输出，其预训练变体和指令调优变体均开放权重。Gemma 3拥有128K的大上下文窗口，支持140多种语言，并提供比前代更多的尺寸选择。Gemma 3模型适用于多种文本生成和图像理解任务，包括问答、摘要和推理。其相对较小的体积使其能够部署在资源有限的环境中，如笔记本电脑、台式机或自有云基础设施，从而普及尖端AI模型的访问，助力大众创新。

输入与输出

• 输入:

  • 文本字符串，如问题、提示或待摘要文档
  • 图像，归一化为896 x 896分辨率并编码为每张256个token
  • 4B/12B/27B尺寸的总输入上下文为128K token，1B尺寸为32K token

• 输出:

  • 根据输入生成的响应文本，如问题答案、图像内容分析或文档摘要
  • 总输出上下文为8192个token

使用方式

以下是一些快速运行模型的代码片段：

llama.cpp（纯文本）

./llama-cli -hf google/gemma-3-27b-pt-qat-q4_0-gguf -p "那是个黑暗而暴风雨之夜。"  

ollama（纯文本）
目前通过Hugging Face使用GGUF与Ollama暂不支持图像输入。请查阅运行受控仓库的文档。

ollama run hf.co/google/gemma-3-27b-pt-qat-q4_0-gguf  

引用

@article{gemma_2025,  
    title={Gemma 3},  
    url={https://goo.gle/Gemma3Report},  
    publisher={Kaggle},  
    author={Gemma Team},  
    year={2025}  
}  

模型数据

模型训练数据及其处理方式。

训练数据集

这些模型训练使用的文本数据集包含广泛来源：27B模型训练使用了14万亿token，12B模型12万亿token，4B模型4万亿token，1B模型2万亿token。关键组成部分包括：

• 网络文档：多样化的网页文本确保模型接触广泛的语言风格、主题和词汇，训练数据覆盖140多种语言
• 代码：让模型学习编程语言的语法和模式，提升代码生成和理解能力
• 数学：数学文本训练帮助模型掌握逻辑推理和符号表示
• 图像：多样图像使模型能执行图像分析和视觉数据提取任务

数据预处理

关键数据清洗和过滤方法：

• CSAM过滤：在数据准备各阶段严格过滤儿童性虐待材料
• 敏感数据过滤：采用自动化技术过滤训练集中的个人信息等敏感数据
• 其他方法：根据[安全政策][safety-policies]进行内容质量和安全过滤

实现信息

模型内部细节。

硬件

使用[张量处理单元(TPU)][tpu]（TPUv4p/v5p/v5e）训练。训练视觉语言模型(VLM)需要强大算力，TPU的优势包括：

• 性能：专为机器学习矩阵运算设计，显著加速训练
• 内存：高带宽内存支持大模型和批量训练
• 可扩展性：TPU Pods集群可分布式训练大型基础模型
• 成本效益：相比CPU基础设施更具性价比
• 符合[谷歌可持续发展承诺][sustainability]

软件

使用[JAX][jax]和[ML Pathways][ml-pathways]训练。JAX支持利用TPU等最新硬件加速训练，ML Pathways是谷歌构建跨任务通用AI系统的最新成果。二者结合使用方式详见[Gemini模型论文][gemini-2-paper]。

评估

模型评估指标与结果。

基准测试结果

推理与事实性

STEM与编程

（保持原表格格式）

多语言能力

（保持原表格格式）

多模态能力

（保持原表格格式）

伦理与安全

伦理安全评估方法与结果。

评估方法

采用结构化评估和内部红队测试，涵盖：

• 儿童安全：文本/图像生成内容审核
• 内容安全：骚扰/暴力/仇恨言论等政策符合性
• 表征危害：偏见/刻板印象等

评估结果

相比前代Gemma模型，在所有安全测试领域均有显著改进。测试显示政策违规极少，无依据推断大幅减少。当前局限是仅含英语提示。

使用与限制

预期用途

• 内容创作：文本生成、聊天机器人、图像数据提取
• 研究教育：NLP研究、语言学习工具、知识探索

局限性

• 训练数据质量影响模型能力
• 复杂任务和语言歧义可能带来挑战
• 可能产生事实性错误或缺乏常识

伦理考量

• 偏见风险：通过数据预处理和持续监控缓解
• 错误信息：提供[负责任AI工具包][rai-toolkit]指导
• 透明性：本模型卡详述架构与评估流程

优势

发布时，该模型家族在同类尺寸开放模型中展现出更优性能。

[各链接锚点保持原文格式]