base_model:

• google/gemma-3-12b-it license: gemma pipeline_tag: text-generation library_name: transformers

Gemma-3-12b纯文本版

本模型是由google/gemma-3-12b-it转换而来的纯文本版本，从多模态Gemma3ForConditionalGeneration架构调整为纯文本Gemma3ForCausalLM架构。

模型说明

• 原始模型: 原版Gemma-3-12b-it是谷歌发布的多模态模型，可同时处理文本和图像
• 本版本: 经修改后采用与纯文本1b模型相同的架构，移除了视觉组件
• 参数量: 40亿参数
• 转换过程: 在保留文本生成能力的同时移除了视觉相关组件

使用方式

您可以像使用纯文本版google/gemma-3-1b-it一样加载和使用本模型：

from transformers import AutoTokenizer, BitsAndBytesConfig, Gemma3ForCausalLM
import torch

model_id = "gghfez/gemma-3-12b-novision"

quantization_config = BitsAndBytesConfig(load_in_8bit=True)

model = Gemma3ForCausalLM.from_pretrained(
    model_id, quantization_config=quantization_config
).eval()

tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [
    [
        {
            "role": "system",
            "content": [{"type": "text", "text": "你是一个乐于助人的助手。"},]
        },
        {
            "role": "user",
            "content": [{"type": "text", "text": "写一首关于Hugging Face公司的诗"},]
        },
    ],
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device).to(torch.bfloat16)


with torch.inference_mode():
    outputs = model.generate(**inputs, max_new_tokens=64)

outputs = tokenizer.batch_decode(outputs)