AIbase

GPTQ量化
Qwen3 0.6B GPTQ Int8
Apache-2.0
Qwen3-0.6B是通义千问系列最新一代0.6B参数规模的大语言模型，支持思维与非思维模式切换，具备卓越的推理、指令遵循和智能体能力。
大型语言模型
Transformers
Q
Qwen
1,231
3
Qwen3 1.7B GPTQ Int8
Apache-2.0
Qwen3是通义千问系列大语言模型的最新版本，提供17亿参数的GPTQ 8位量化模型，支持思维与非思维模式切换，增强推理能力和多语言支持。
大型语言模型
Transformers
Q
Qwen
635
1
Orpheus 3b 0.1 Ft.w8a8
Apache-2.0
Orpheus-3B-0.1-FT 是一个基于因果语言模型的文本转语音模型，支持高效的量化压缩。
大型语言模型
Transformers
英语
O
nytopop
173
0
Qwen2.5 VL 3B Instruct GPTQ Int4
Apache-2.0
这是Qwen2.5-VL-3B-Instruct模型的GPTQ-Int4量化版本，适用于图像文本到文本的多模态任务，支持中文和英语。
图像生成文本
Transformers
支持多种语言
Q
hfl
1,312
2
Meta Llama 3.1 8B Instruct GPTQ INT4
这是Meta-Llama-3.1-8B-Instruct模型的INT4量化版本，使用GPTQ算法进行量化，适用于多语言对话场景。
大型语言模型
Transformers
支持多种语言
M
hugging-quants
128.18k
25
Five Phases Mindset
Gpl-3.0
基于QWEN的中医智能问诊模型，融合五行理论，提供个性化中医诊断服务
大型语言模型
Transformers
中文
F
cookey39
14
2
Llama 2 13B GPTQ
Meta的Llama 2 13B模型的GPTQ量化版本，适用于高效推理
大型语言模型
Transformers
英语
L
TheBloke
538
121