🚀 Gemma-3-27b-it-GGUF

Gemma-3-27b-it-GGUF 是一个经过量化处理的模型，基于 Google 的 Gemma-3-27b-it 模型，由 Second State Inc. 进行量化。该模型适用于图像文本到文本的任务。

📦 安装指南

此部分文档未提供具体安装步骤，若有相关需求，请参考官方文档或社区资源。

✨ 主要特性

• 基础模型：基于 google/gemma-3-27b-it 模型。
• 量化处理：由 Second State Inc. 进行量化，提供多种量化版本供选择。
• 适用任务：适用于图像文本到文本的任务。

💻 使用示例

基础用法

与 LlamaEdge 一起运行

• LlamaEdge 版本：v0.18.5 及以上版本。
• 提示模板
  • 提示类型：gemma-3
  • 提示字符串

    <bos><start_of_turn>user
    {user_message}<end_of_turn>
    <start_of_turn>model
    {model_message}<end_of_turn>model
    

• 上下文大小：128000

以 LlamaEdge 服务形式运行

聊天

wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-3-27b-it-Q5_K_M.gguf \
  llama-api-server.wasm \
  --prompt-template gemma-3 \
  --ctx-size 128000 \
  --model-name gemma-3-27b

图像

⚠️ 重要提示

输入图像需要归一化为 896 x 896 分辨率，并且每张图像编码为 256 个标记。

wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-3-27b-it-Q5_K_M.gguf \
  llama-api-server.wasm \
  --prompt-template gemma-3 \
  --llava-mmproj gemma-3-27b-it-mmproj.gguf \
  --ctx-size 128000 \
  --model-name gemma-3-27b

以 LlamaEdge 命令行应用程序形式运行

wasmedge --dir .:. \
  --nn-preload default:GGML:AUTO:gemma-3-27b-it-Q5_K_M.gguf \
  llama-chat.wasm \
  --prompt-template gemma-3 \
  --ctx-size 128000

📚 详细文档

原始模型

google/gemma-3-27b-it

量化模型

使用 llama.cpp b4875 进行量化

📄 许可证

本模型使用 gemma 许可证。具体许可条款请参考相关文档。