Qwen2-VL-7B-GGUF开源视觉语言模型 - 多种量化版本适用于实用场景

Qwen2 VL 7B GGUF

由 tensorblock 开发

Qwen2-VL-7B 是一个视觉语言模型，提供多种量化版本的 GGUF 格式模型文件，适用于 llama.cpp 使用。

下载量 108

发布时间 : 12/15/2024

模型简介

Qwen2-VL-7B 是一个基于视觉语言的多模态模型，支持文本和图像输入，适用于多种视觉语言任务。

多种量化类型

提供从 Q2_K 到 Q8_0 的多种量化类型，用户可根据需求选择不同的质量和大小。

兼容性

与 llama.cpp 兼容，确保模型的兼容性和性能。

高效量化

由 TensorBlock 提供量化服务，确保模型的性能和质量。

文本生成

图像分析

多模态任务处理

视觉语言任务

图像描述生成

根据输入的图像生成详细的描述文本。

视觉问答

回答与输入图像相关的问题。

本仓库包含 Qwen/Qwen2-VL-7B 的 GGUF 格式模型文件。这些文件由 TensorBlock 提供的机器进行量化，并且与提交 b4329 之后的 llama.cpp 兼容。

本项目提供了 Qwen2-VL-7B 模型的 GGUF 量化版本，方便在 llama.cpp 中使用。

首先，安装 Huggingface 客户端：

pip install -U "huggingface_hub[cli]"

然后，将单个模型文件下载到本地目录：

huggingface-cli download tensorblock/Qwen2-VL-7B-GGUF --include "Qwen2-VL-7B-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式下载多个模型文件（例如，*Q4_K*gguf），可以尝试以下命令：

huggingface-cli download tensorblock/Qwen2-VL-7B-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

本项目采用 Apache-2.0 许可证。

项目名称	项目介绍	项目图片	项目链接
Awesome MCP Servers	一个全面的模型上下文协议（MCP）服务器集合。		查看项目
TensorBlock Studio	一个轻量级、开放且可扩展的多大语言模型交互工作室。		查看项目