基础模型: Qwen/Qwen2-VL-2B-Instruct
许可证: Apache-2.0
模型创建者: Qwen
模型名称: Qwen2-VL-2B-Instruct
量化机构: Second State Inc.
支持语言:

• 英语
  任务标签: 图像文本生成
  技术标签:
• 多模态
  库名称: transformers

Qwen2-VL-2B-Instruct-GGUF

原始模型

Qwen/Qwen2-VL-2B-Instruct

通过LlamaEdge运行

• LlamaEdge版本: v0.16.0

• 提示模板

  • 提示类型: qwen2-vision

  • 提示字符串

    <|im_start|>system  
    {系统提示}<|im_end|>  
    <|im_start|>user  
    <|vision_start|>{图像占位符}<|vision_end|>{用户提示}<|im_end|>  
    <|im_start|>assistant  
    

• 上下文长度: 32000

• 作为LlamaEdge服务运行

  wasmedge --dir .:. \  
    --nn-preload default:GGML:AUTO:Qwen2-VL-2B-Instruct-Q5_K_M.gguf \  
    llama-api-server.wasm \  
    --model-name Qwen2-VL-2B-Instruct \  
    --prompt-template qwen2-vision \  
    --llava-mmproj Qwen2-VL-2B-Instruct-vision-encoder.gguf \  
    --ctx-size 32000  
  

量化GGUF模型

使用llama.cpp b4329量化