Qwen Qwen2.5 VL 72B Instruct GGUF

由 bartowski 开发

Qwen2.5-VL-72B-Instruct的多模态大语言模型量化版本，支持图像文本到文本任务，适用于多种量化级别，从高精度到低内存需求。

文本生成图像

英语

开源协议:其他 #多模态理解 #高精度量化 #大语言模型

下载量 1,336

发布时间 : 5/8/2025

模型介绍

内容详情

替代品

模型简介

这是一个基于Qwen2.5-VL-72B-Instruct模型的量化版本，使用llama.cpp进行量化，支持多种量化级别，适用于不同硬件环境。

模型特点

多模态支持

支持图像和文本的联合处理，能够理解并生成与图像相关的文本内容。

多种量化级别

提供从Q8_0到IQ1_M的多种量化级别，满足不同硬件和性能需求。

高性能推理

使用llama.cpp进行优化，支持在LM Studio和llama.cpp等平台上高效推理。

模型能力

图像文本理解

文本生成

多模态任务处理

使用案例

图像描述生成

自动图像标注

根据输入的图像生成详细的文本描述。

生成准确且详细的图像描述文本。

多模态对话

图像问答

根据图像内容回答用户提出的问题。

提供与图像内容相关的准确回答。

文件名	量化类型	文件大小	分块	描述
Qwen2.5-VL-72B-Instruct-Q8_0.gguf	Q8_0	77.26GB	是	极高品质，通常无需但为最高可用量化。
Qwen2.5-VL-72B-Instruct-Q6_K.gguf	Q6_K	64.35GB	是	接近完美的高品质，推荐。
Qwen2.5-VL-72B-Instruct-Q5_K_M.gguf	Q5_K_M	54.45GB	是	高品质，推荐。
Qwen2.5-VL-72B-Instruct-Q5_K_S.gguf	Q5_K_S	51.38GB	是	高品质，推荐。
Qwen2.5-VL-72B-Instruct-Q4_K_L.gguf	Q4_K_L	48.34GB	否	嵌入和输出权重使用Q8_0。良好品质，推荐。
Qwen2.5-VL-72B-Instruct-Q4_K_M.gguf	Q4_K_M	47.42GB	否	良好品质，多数场景默认大小，推荐。
Qwen2.5-VL-72B-Instruct-Q4_1.gguf	Q4_1	45.70GB	否	传统格式，性能类似Q4_K_S但Apple芯片上token/瓦特更优。
Qwen2.5-VL-72B-Instruct-Q4_K_S.gguf	Q4_K_S	43.89GB	否	稍低品质但更省空间，推荐。
Qwen2.5-VL-72B-Instruct-Q4_0.gguf	Q4_0	41.38GB	否	传统格式，支持ARM和AVX CPU推理的在线重打包。
Qwen2.5-VL-72B-Instruct-IQ4_NL.gguf	IQ4_NL	41.32GB	否	类似IQ4_XS但稍大。支持ARM CPU推理的在线重打包。
Qwen2.5-VL-72B-Instruct-Q3_K_XL.gguf	Q3_K_XL	40.60GB	否	嵌入和输出权重使用Q8_0。较低品质但可用，适合低内存环境。
Qwen2.5-VL-72B-Instruct-IQ4_XS.gguf	IQ4_XS	39.71GB	否	尚可品质，比Q4_K_S更小且性能相似，推荐。
Qwen2.5-VL-72B-Instruct-Q3_K_L.gguf	Q3_K_L	39.51GB	否	较低品质但可用，适合低内存环境。
Qwen2.5-VL-72B-Instruct-Q3_K_M.gguf	Q3_K_M	37.70GB	否	低品质。
Qwen2.5-VL-72B-Instruct-IQ3_M.gguf	IQ3_M	35.50GB	否	中低品质，新方法性能接近Q3_K_M。
Qwen2.5-VL-72B-Instruct-Q3_K_S.gguf	Q3_K_S	34.49GB	否	低品质，不推荐。
Qwen2.5-VL-72B-Instruct-IQ3_XS.gguf	IQ3_XS	32.84GB	否	较低品质，新方法性能略优于Q3_K_S。
Qwen2.5-VL-72B-Instruct-IQ3_XXS.gguf	IQ3_XXS	31.85GB	否	较低品质，新方法性能与Q3量化相当。
Qwen2.5-VL-72B-Instruct-Q2_K_L.gguf	Q2_K_L	31.03GB	否	嵌入和输出权重使用Q8_0。极低品质但意外可用。
Qwen2.5-VL-72B-Instruct-Q2_K.gguf	Q2_K	29.81GB	否	极低品质但意外可用。
Qwen2.5-VL-72B-Instruct-IQ2_M.gguf	IQ2_M	29.34GB	否	相对低品质，采用SOTA技术意外可用。
Qwen2.5-VL-72B-Instruct-IQ2_S.gguf	IQ2_S	27.94GB	否	低品质，采用SOTA技术可用。
Qwen2.5-VL-72B-Instruct-IQ2_XS.gguf	IQ2_XS	27.06GB	否	低品质，采用SOTA技术可用。
Qwen2.5-VL-72B-Instruct-IQ2_XXS.gguf	IQ2_XXS	25.49GB	否	极低品质，采用SOTA技术可用。
Qwen2.5-VL-72B-Instruct-IQ1_M.gguf	IQ1_M	23.74GB	否	极低品质，不推荐。