基础模型: google/gemma-3-12b-it
推理: 不支持
库名称: transformers
许可证: gemma
模型创建者: Google
模型名称: gemma-3-12b-it
量化方: Second State Inc.
任务标签: 图像文本生成文本

Gemma-3-12b-it-GGUF

原始模型

google/gemma-3-12b-it

使用LlamaEdge运行

• LlamaEdge版本: v0.16.1 及以上

• 提示模板

  • 提示类型: gemma-instruct

  • 提示字符串

    <bos><start_of_turn>user  
    {用户消息}<end_of_turn>  
    <start_of_turn>model  
    {模型消息}<end_of_turn>model  
    

• 上下文大小: 128000

• 作为LlamaEdge服务运行

  wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-3-12b-it-Q5_K_M.gguf \  
    llama-api-server.wasm \  
    --prompt-template gemma-instruct \  
    --ctx-size 128000 \  
    --model-name gemma-3-12b  
  

• 作为LlamaEdge命令行应用运行

  wasmedge --dir .:. \  
    --nn-preload default:GGML:AUTO:gemma-3-12b-it-Q5_K_M.gguf \  
    llama-chat.wasm \  
    --prompt-template gemma-instruct \  
    --ctx-size 128000  
  

量化GGUF模型

使用 llama.cpp b4875 量化