许可协议: apache-2.0
语言:
- 英文
基础模型:
- prithivMLmods/Qwen2-VL-OCR-2B-Instruct
任务标签: 图像文本转文本
库名称: transformers
标签:
- 文本生成推理
- 视觉问答
- 潦草手写OCR
- 光学字符识别
- 代码
Qwen2-VL-OCR-2B-Instruct-GGUF [视觉/OCR]
Qwen2-VL-OCR-2B-Instruct 模型是基于 Qwen/Qwen2-VL-2B-Instruct 微调的版本,专为光学字符识别(OCR)、图像转文本、LaTeX 格式数学问题求解以及潦草手写OCR等任务设计。该模型结合了对话式交互与多模态理解能力,可高效处理视觉与文本混合任务。
模型文件 (Qwen2-VL-OCR-2B-Instruct, GGUF)
文件名 |
大小 |
量化方式 |
格式 |
描述 |
Qwen2-VL-OCR-2B-Instruct.f16.gguf |
3.09 GB |
FP16 |
GGUF |
全精度(float16) |
Qwen2-VL-OCR-2B-Instruct.Q2_K.gguf |
676 MB |
Q2_K |
GGUF |
2位量化 |
Qwen2-VL-OCR-2B-Instruct.Q3_K_L.gguf |
880 MB |
Q3_K_L |
GGUF |
3位量化(K L变体) |
Qwen2-VL-OCR-2B-Instruct.Q3_K_M.gguf |
824 MB |
Q3_K_M |
GGUF |
3位量化(K M变体) |
Qwen2-VL-OCR-2B-Instruct.Q3_K_S.gguf |
761 MB |
Q3_K_S |
GGUF |
3位量化(K S变体) |
Qwen2-VL-OCR-2B-Instruct.Q4_K_M.gguf |
986 MB |
Q4_K_M |
GGUF |
4位量化(K M变体) |
Qwen2-VL-OCR-2B-Instruct.Q4_K_S.gguf |
940 MB |
Q4_K_S |
GGUF |
4位量化(K S变体) |
Qwen2-VL-OCR-2B-Instruct.Q5_K_M.gguf |
1.13 GB |
Q5_K_M |
GGUF |
5位量化(K M变体) |
Qwen2-VL-OCR-2B-Instruct.Q5_K_S.gguf |
1.1 GB |
Q5_K_S |
GGUF |
5位量化(K S变体) |
Qwen2-VL-OCR-2B-Instruct.Q6_K.gguf |
1.27 GB |
Q6_K |
GGUF |
6位量化 |
Qwen2-VL-OCR-2B-Instruct.Q8_0.gguf |
1.65 GB |
Q8_0 |
GGUF |
8位量化 |
i1 量化变体
文件名 |
大小 |
量化方式 |
描述 |
Qwen2-VL-OCR-2B-Instruct.i1-IQ1_M.gguf |
464 MB |
i1-IQ1_M |
i1 1位中等 |
Qwen2-VL-OCR-2B-Instruct.i1-IQ1_S.gguf |
437 MB |
i1-IQ1_S |
i1 1位小型 |
Qwen2-VL-OCR-2B-Instruct.i1-IQ2_M.gguf |
601 MB |
i1-IQ2_M |
i1 2位中等 |
Qwen2-VL-OCR-2B-Instruct.i1-IQ2_S.gguf |
564 MB |
i1-IQ2_S |
i1 2位小型 |
Qwen2-VL-OCR-2B-Instruct.i1-IQ2_XS.gguf |
550 MB |
i1-IQ2_XS |
i1 2位超小型 |
Qwen2-VL-OCR-2B-Instruct.i1-IQ2_XXS.gguf |
511 MB |
i1-IQ2_XXS |
i1 2位极小型 |
Qwen2-VL-OCR-2B-Instruct.i1-IQ3_M.gguf |
777 MB |
i1-IQ3_M |
i1 3位中等 |
Qwen2-VL-OCR-2B-Instruct.i1-IQ3_S.gguf |
762 MB |
i1-IQ3_S |
i1 3位小型 |
Qwen2-VL-OCR-2B-Instruct.i1-IQ3_XS.gguf |
732 MB |
i1-IQ3_XS |
i1 3位超小型 |
Qwen2-VL-OCR-2B-Instruct.i1-IQ3_XXS.gguf |
669 MB |
i1-IQ3_XXS |
i1 3位极小型 |
Qwen2-VL-OCR-2B-Instruct.i1-IQ4_NL.gguf |
936 MB |
i1-IQ4_NL |
i1 4位无层归一化量化 |
Qwen2-VL-OCR-2B-Instruct.i1-IQ4_XS.gguf |
896 MB |
i1-IQ4_XS |
i1 4位超小型 |
Qwen2-VL-OCR-2B-Instruct.i1-Q4_0.gguf |
938 MB |
i1-Q4_0 |
i1 4位传统量化 |
Qwen2-VL-OCR-2B-Instruct.i1-Q4_1.gguf |
1.02 GB |
i1-Q4_1 |
i1 4位传统变体 |
元数据
文件名 |
大小 |
描述 |
.gitattributes |
3.37 kB |
Git LFS跟踪文件 |
config.json |
34 B |
配置占位文件 |
README.md |
672 B |
模型说明文件 |
量化版本使用指南
(按大小排序,质量未必对应。通常IQ量化优于同尺寸非IQ量化)
下图由 ikawrakow 提供,对比了部分低质量量化类型的表现(数值越低越好):
