基础模型:

• gghfez/gemma-3-4b-novision 许可证: gemma 任务标签: 文本生成 库名称: transformers

Gemma 3 4B (纯文本精简版) 模型卡

这是google/gemma-3-4b-it的纯文本精简版本，使用Baukit工具创建。

视觉编码器已被gghf移除。请注意，该模型性能可能有所降低。

模型描述

• 原始模型: 原始Gemma-3-4b-it是谷歌发布的多模态模型，可同时处理文本和图像
• 当前版本: 本版本修改为采用与纯文本1b模型相同的架构，移除了视觉组件
• 参数量: 40亿参数
• 转换过程: 在保留文本生成能力的同时移除了视觉相关组件

使用方法

您可以像使用纯文本版google/gemma-3-1b-it一样加载和使用本模型：

from transformers import AutoTokenizer, BitsAndBytesConfig, Gemma3ForCausalLM
import torch

model_id = "gghfez/gemma-3-4b-novision"

quantization_config = BitsAndBytesConfig(load_in_8bit=True)

model = Gemma3ForCausalLM.from_pretrained(
    model_id, quantization_config=quantization_config
).eval()

tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [
    [
        {
            "role": "system",
            "content": [{"type": "text", "text": "你是一个乐于助人的助手。"},]
        },
        {
            "role": "user",
            "content": [{"type": "text", "text": "写一首关于Hugging Face公司的诗"},]
        },
    ],
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device).to(torch.bfloat16)


with torch.inference_mode():
    outputs = model.generate(**inputs, max_new_tokens=64)

outputs = tokenizer.batch_decode(outputs)