license: gemma
library_name: transformers
pipeline_tag: image-text-to-text
extra_gated_heading: 访问Hugging Face上的Gemma
extra_gated_prompt: 要访问Hugging Face上的Gemma，您需要审阅并同意Google的使用许可。请确保已登录Hugging Face账号并点击下方按钮。请求将立即处理。
extra_gated_button_content: 确认许可
base_model: google/gemma-3-27b-it

Gemma 3 27B指令调优INT4版本

这是从Kaggle获取的QAT INT4 Flax检查点转换而成的GGUF格式模型，便于使用。转换脚本详见：https://github.com/gau-nernst/gemma3-int4

注意：此版本与官方发布的QAT INT4 GGUFs不同（官方版本见：https://huggingface.co/collections/google/gemma-3-qat-67ee61ccacbf2be4195c265b）

下方为原始模型卡片（来源：https://huggingface.co/google/gemma-3-27b-it）

Gemma 3模型卡片

模型主页: Gemma

资源与技术文档:

• [Gemma 3技术报告][g3-tech-report]
• [负责任生成式AI工具包][rai-toolkit]
• [Kaggle上的Gemma][kaggle-gemma]
• [Vertex Model Garden上的Gemma 3][vertex-mg-gemma3]

使用条款: [条款][terms]
作者: Google DeepMind

模型信息

概述模型功能及输入输出定义。

描述

Gemma是谷歌推出的轻量级尖端开放模型家族，基于与Gemini模型相同的研究技术构建。Gemma 3为多模态模型，支持文本/图像输入与文本输出，提供预训练和指令调优两种权重版本。其特点包括：

• 128K超大上下文窗口
• 支持140+种语言
• 提供更多尺寸选择
• 适合问答/摘要/推理等文本生成与图像理解任务
• 小巧体积支持笔记本/台式机等资源受限环境部署

输入输出

• 输入:
  • 文本（问题/提示/待摘要文档）
  • 图像（896x896分辨率，编码为256 tokens/张）
  • 总输入上下文：1B版32K tokens，其他版本128K tokens
• 输出:
  • 生成文本（答案/图像分析/文档摘要等）
  • 总输出上下文：8192 tokens

使用示例

安装Transformers（需4.50.0+版本）:

pip install -U transformers  

通过pipeline调用

from transformers import pipeline  
pipe = pipeline("image-text-to-text", model="google/gemma-3-27b-it", device="cuda")  

指令调优模型需使用聊天模板预处理输入：

messages = [  
    {"role": "system", "content": [{"text": "你是助手"}]},  
    {"role": "user", "content": [  
        {"image": "https://example.com/candy.jpg"},  
        {"text": "糖果上是什么动物？"}  
    ]}  
]  
output = pipe(text=messages, max_new_tokens=200)  

单卡/多卡运行

model = Gemma3ForConditionalGeneration.from_pretrained("google/gemma-3-27b-it", device_map="auto").eval()  
processor = AutoProcessor.from_pretrained("google/gemma-3-27b-it")  
inputs = processor.apply_chat_template(messages, return_tensors="pt").to(model.device)  
generation = model.generate(**inputs, max_new_tokens=100)  

模型数据

训练数据集

• 27B模型：14万亿tokens
• 12B模型：12万亿tokens
• 4B模型：4万亿tokens
• 1B模型：2万亿tokens

数据组成：

• 网页文档（140+种语言）
• 代码
• 数学文本
• 图像

数据预处理

• CSAM过滤
• 敏感数据过滤
• 基于[安全政策][safety-policies]的质量过滤

实现信息

硬件

TPUv4p/v5p/v5e硬件训练，优势包括：

• 专为矩阵运算优化
• 大内存支持大批量训练
• 通过TPU Pods实现扩展

软件

使用JAX和ML Pathways框架训练，继承[Gemini模型][gemini-2-paper]的单控制器编程模型。

评估结果

基准测试

推理与事实性

STEM与代码

多模态

伦理与安全

评估方法

通过结构化评估和内部红队测试验证：

• 儿童安全
• 内容安全
• 表征危害

改进亮点

相比前代Gemma模型，在无安全过滤条件下：

• 政策违规率显著降低
• 无根据推断大幅减少
  （当前评估仅含英语提示）

使用限制

适用场景

• 内容创作（文本/图像生成）
• 研究教育（NLP实验/语言学习）

局限性

• 训练数据偏差可能影响输出
• 复杂任务处理能力有限
• 可能生成过时/错误事实

伦理风险

• 偏见延续：建议持续监控
• 有害内容：需实施安全防护
• 隐私保护：训练数据已过滤敏感信息

[注：所有方括号内链接保留原始标记]