AIbase

4位量化
Qwen3 30B A3B MNN
Apache-2.0
基于Qwen3-30B-A3B导出的MNN模型，经过4位量化后的版本，适用于高效推理。
大型语言模型
英语
Q
taobao-mnn
550
1
Gemma 3 27b It Qat 4bit
其他
Gemma 3 27B IT QAT 4bit 是一个基于 Google 原始模型转换而来的 MLX 格式模型，支持图像文本到文本的任务。
图像生成文本
Transformers
其他
G
mlx-community
2,200
12
Zhaav Gemma3 4B
基于Gemma 3架构微调的波斯语专用模型，使用QLoRA 4位量化技术，适合普通硬件运行。
大型语言模型
其他
Z
alifzl
40
1
Qwq 32B NF4
Apache-2.0
这是Qwen/QwQ-32B模型的4位量化版本，通过BitsAndBytes库进行优化，适用于资源受限环境下的文本生成任务。
大型语言模型
Transformers
英语
Q
ginipick
150
27
Qwq 32B Bnb 4bit
Apache-2.0
Qwen/QwQ-32B的4位量化版本，基于BitsAndBytes库实现，适用于资源受限环境下的文本生成任务。
大型语言模型
Transformers
英语
Q
fantos
115
4
Gemma 3 27b It Quantized W4A16
Gemma 3是Google开发的指令调优大语言模型，本仓库提供其27B参数的W4A16量化版本，显著降低硬件需求
大型语言模型
Transformers
G
abhishekchohan
640
4
Gemma 3 4b Persian V0
Apache-2.0
基于Gemma 3架构的波斯语专用模型，采用QLoRA进行4位量化，专注于波斯语文本生成与理解
大型语言模型
其他
G
mshojaei77
542
9
Qwq 32B Bnb 4bit
Apache-2.0
QwQ-32B的4位量化版本，使用Bitsandbytes技术进行优化，适用于资源受限环境下的高效推理
大型语言模型
Transformers
Q
onekq-ai
167
2
Mistral Small 24B Instruct 2501 GPTQ G128 W4A16 MSE
Apache-2.0
这是mistralai/Mistral-Small-24B-Instruct-2501模型的4位量化版本，由ConfidentialMind.com量化，实现了更小、更快的模型，同时性能损失极小。
大型语言模型
英语
M
ConfidentialMind
93
1
Pixtral 12b Nf4
Apache-2.0
基于Mistral社区Pixtral-12B的4位量化版本，专注于图像文本到文本任务，支持中文描述生成
图像生成文本
Transformers
P
SeanScripts
236
20
Qwen2 Audio 7B Instruct 4bit
这是Qwen2-Audio-7B-Instruct的4位量化版本，基于阿里巴巴云原版Qwen模型开发，是一个音频-文本多模态大语言模型。
音频生成文本
Transformers
Q
alicekyting
1,090
6
Dorna Llama3 8B Instruct Quantized4Bit
Dorna-Llama3-8B-Instruct的4位量化版本，针对波斯语优化，集成Flash Attention 2技术提升推理效率
大型语言模型
Transformers
支持多种语言
D
amirMohammadi
22
11
Omost Dolphin 2.9 Llama3 8b 4bits
Omost发布的基于Llama3-8B的指令微调模型，采用Dolphin-2.9数据集预训练，并以4位NF4格式量化。
大型语言模型
Transformers
O
lllyasviel
106
6
Llama 3 8B Instruct GPTQ 4 Bit
其他
这是一个基于Meta Llama 3构建的4位量化GPTQ模型，由Astronomer量化，可在低VRAM设备上高效运行。
大型语言模型
Transformers
L
astronomer
2,059
25
Mosaicml Mpt 7b Chat Bnb 4bit Smashed
PrunaAI提供的压缩版MPT-7B-Chat模型，通过llm-int8技术优化，显著降低内存占用和能耗。
大型语言模型
Transformers
其他
M
PrunaAI
30
1
Cogvlm Grounding Generalist Hf Quant4
Apache-2.0
CogVLM是一款强大的开源视觉语言模型，支持目标检测和视觉问答等任务，采用4位精度量化。
图像生成文本
Transformers
C
Rodeszones
50
9
Internlm Xcomposer2 7b 4bit
其他
书生·浦语2是基于InternLM2的视觉语言大模型(VLLM)，具备先进的图文理解与创作能力。
图像生成文本
Transformers
I
internlm
74
10
Mistral Ita 7b
Apache-2.0
基于Mistral-7B-v0.1专门优化的意大利语文本生成模型，支持高效推理和4位量化版本
大型语言模型
Transformers
M
DeepMount00
3,525
39
Llama 2 7b Int4 GPTQ Python Code 20k
Gpl-3.0
这是Llama 2 7B模型的4位GPTQ量化版本，专门针对Python代码生成任务进行了微调
大型语言模型
Transformers
其他
L
edumunozsala
22
1
Chronos 13b 4bit
其他
Chronos-13B的4位(int4)量化版本，专注于聊天、角色扮演和故事创作，支持长文本生成
大型语言模型
Transformers
C
elinas
43
22
Llava 13b V0 4bit 128g
LLaVA是一个结合视觉与语言的多模态模型，基于LLaMA架构，支持图像理解和对话生成。
文本生成图像
Transformers
L
wojtab
167
79
Pygmalion 6b 4bit 128g
Openrail
基于Pygmalion-6B的4位GPTQ量化模型，适用于对话生成任务，支持英文文本生成
大型语言模型
Transformers
英语
P
mayaeary
40
40