🚀 Gemma-3-4b-it-GGUF

本项目提供了对 Gemma-3-4b-it 模型的量化处理，使其能在 LlamaEdge 上运行，可用于图像文本到文本的转换任务。

🚀 快速开始

原模型

原模型为 google/gemma-3-4b-it。

使用 LlamaEdge 运行

• LlamaEdge 版本：需使用 v0.18.5 及以上版本。
• 提示模板
  • 提示类型：gemma-3
  • 提示字符串

    <bos><start_of_turn>user
    {user_message}<end_of_turn>
    <start_of_turn>model
    {model_message}<end_of_turn>model
    

• 上下文大小：128000

作为 LlamaEdge 服务运行

聊天

wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-3-4b-it-Q5_K_M.gguf \
  llama-api-server.wasm \
  --prompt-template gemma-3 \
  --ctx-size 128000 \
  --model-name gemma-3-4b

图像

⚠️ 重要提示

输入图像需要归一化为 896 x 896 分辨率，并编码为每个 256 个标记。

wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-3-4b-it-Q5_K_M.gguf \
  llama-api-server.wasm \
  --prompt-template gemma-3 \
  --llava-mmproj gemma-3-4b-it-mmproj-f16.gguf \
  --ctx-size 128000 \
  --model-name gemma-3-4b

作为 LlamaEdge 命令行应用运行

wasmedge --dir .:. \
  --nn-preload default:GGML:AUTO:gemma-3-4b-it-Q5_K_M.gguf \
  llama-chat.wasm \
  --prompt-template gemma-3 \
  --ctx-size 128000

📦 安装指南

文档未提及具体安装步骤，可参考原模型和 LlamaEdge 的官方文档进行安装。

💻 使用示例

基础用法

上述作为 LlamaEdge 服务运行和作为 LlamaEdge 命令行应用运行的代码示例，即为基础的使用方式。

📚 详细文档

量化后的 GGUF 模型

使用 llama.cpp b4875 进行量化

📄 许可证

本项目使用 gemma 许可证。

📋 模型信息