🚀 Turkish-LLaVA-v0.1-Q4_K_M-GGUF

Turkish-LLaVA-v0.1-Q4_K_M-GGUF 是 ytu-ce-cosmos/Turkish-LLaVA-v0.1 视觉语言模型的转换和量化版本，使用 llama.cpp 进行转换和量化。该模型可用于图像文本到文本的处理任务。

🚀 快速开始

✨ 主要特性

• 基于 ytu-ce-cosmos/Turkish-LLaVA-v0.1 模型进行转换和量化。
• 支持使用 llama-cpp-python 包进行调用。

📦 安装指南

文档未提供具体安装步骤，可参考相关依赖库的官方文档进行安装，如 llama-cpp-python。

💻 使用示例

基础用法

from llama_cpp import Llama
from llama_cpp.llama_chat_format import Llama3VisionAlphaChatHandler

llm = Llama(
  model_path="Turkish-LLaVA-v0.1-Q4_K_M.gguf", # 语言模型路径
  n_gpu_layers=-1, # 在 GPU 上运行
  chat_handler=Llama3VisionAlphaChatHandler(
      # 图像编码器路径
      clip_model_path="Turkish-LLaVA-v0.1-mmproj-F16.gguf",
  ),
  seed=1337, # 用于复现相同结果
  n_ctx=4096, # 应增加 n_ctx 以容纳图像嵌入
  verbose=False, # 禁用日志记录
)

# 输入图像的 URL
url = "https://huggingface.co/ytu-ce-cosmos/Turkish-LLaVA-v0.1/resolve/main/example.jpg"

messages = [
    {"role": "system", "content": "Sen yardımsever bir asistansın."},
    {
        "role": "user",
        "content": [
            {"type" : "text", "text": "Bu resimde neler görüyorsun?"},
            {"type": "image_url", "image_url": {"url": url}}
        ]
    },
]

response = llm.create_chat_completion(
    messages=messages,
    max_tokens=64,
)

print(response["choices"][0]["message"]["content"])
# 输出: Resimde, sarı çiçeklerle çevrili bir köpek yavrusu görülüyor.

📄 许可证

本项目采用 MIT 许可证。

信息表格