基础模型: Qwen/Qwen2-VL-7B-Instruct
许可证: apache-2.0
模型创建者: Qwen
模型名称: Qwen2-VL-7B-Instruct
量化方: Second State Inc.
语言:

• 英语
  任务标签: 图像文本到文本
  标签:
• 多模态
  库名称: transformers

Qwen2-VL-7B-Instruct-GGUF

原始模型

Qwen/Qwen2-VL-7B-Instruct

使用LlamaEdge运行

• LlamaEdge版本: v0.16.0

• 提示模板

  • 提示类型: qwen2-vision

  • 提示字符串

    <|im_start|>system  
    {system_prompt}<|im_end|>  
    <|im_start|>user  
    <|vision_start|>{image_placeholder}<|vision_end|>{user_prompt}<|im_end|>  
    <|im_start|>assistant  
    

• 上下文大小: 128000

• 作为LlamaEdge服务运行

  wasmedge --dir .:. \  
    --nn-preload default:GGML:AUTO:Qwen2-VL-7B-Instruct-Q5_K_M.gguf \  
    llama-api-server.wasm \  
    --model-name Qwen2-VL-7B-Instruct \  
    --prompt-template qwen2-vision \  
    --llava-mmproj Qwen2-VL-7B-Instruct-vision-encoder.gguf \  
    --ctx-size 128000  
  

量化GGUF模型

使用 llama.cpp b4329 量化