# 低资源部署

Nvidia OpenReasoning Nemotron 32B GGUF
NVIDIA OpenReasoning - Nemotron - 32B的量化版本,通过llama.cpp进行量化处理,减少模型存储和计算资源需求,便于部署。
大型语言模型
N
bartowski
2,382
1
Nvidia OpenReasoning Nemotron 1.5B GGUF
NVIDIA OpenReasoning - Nemotron - 1.5B的量化版本,通过llama.cpp工具优化,提升在不同硬件上的运行效率和性能。
大型语言模型
N
bartowski
660
4
Ddh0 Cassiopeia 70B GGUF
这是对ddh0/Cassiopeia-70B模型进行量化处理后的版本,通过量化技术减少模型存储空间并提升推理速度。
大型语言模型
D
bartowski
167
2
Openreasoning Nemotron 32B Q4 K M GGUF
本模型是从nvidia/OpenReasoning-Nemotron-32B转换而来的GGUF格式模型,可借助llama.cpp进行使用。
大型语言模型 Transformers 支持多种语言
O
sm54
127
1
Thedrummer Cydonia 24B V4 GGUF
基于llama.cpp对TheDrummer的Cydonia-24B-v4模型进行量化的版本,可在资源有限的设备上高效运行。
大型语言模型
T
bartowski
3,869
4
Voxtral Mini 3B 2507 Transformers
Apache-2.0
Voxtral Mini是基于Ministral 3B的增强版本,具备先进的音频输入能力,在语音转录、翻译和音频理解等方面表现出色。
音频生成文本 Transformers 支持多种语言
V
MohamedRashad
416
2
GLM 4.1V 9B MLX 4bit
MIT
这是一个基于THUDM/GLM-4.1V-9B-Thinking转换而来的MLX格式模型,支持视觉语言任务。
文本生成图像 支持多种语言
G
Rainnighttram
114
1
Perseus Doc Vl 0712 I1 GGUF
Apache-2.0
Perseus-Doc-vl-0712是一款支持多语言的视觉语言模型,适用于文本生成、图像字幕生成和光学字符识别等任务。
图像生成文本 Transformers 支持多种语言
P
mradermacher
105
1
Treevgr 7B CI I1 GGUF
Apache-2.0
TreeVGR-7B-CI 是一个基于视觉的问答、视觉定位和视觉推理的模型量化版本,适用于多种视觉任务场景。
文本生成图像 Transformers 英语
T
mradermacher
254
1
Wr30a Deep 7B 0711 I1 GGUF
Apache-2.0
这是prithivMLmods/WR30a-Deep-7B-0711模型的量化版本,支持多语言,适用于文本生成、图像字幕生成等多种任务。
图像生成文本 Transformers 支持多种语言
W
mradermacher
262
1
Treevgr 7B CI GGUF
Apache-2.0
TreeVGR-7B-CI 的静态量化版本,适用于视觉问答、视觉定位和视觉推理等任务
文本生成图像 Transformers 英语
T
mradermacher
150
1
Rekaai Reka Flash 3.1 GGUF
Apache-2.0
这是RekaAI的reka-flash-3.1模型的Llamacpp imatrix量化版本,通过量化技术减少模型存储空间和计算资源需求,适合资源受限的设备运行。
大型语言模型
R
bartowski
1,449
2
Huihui Gemma 3n E2B It Abliterated GGUF
Gemma-3n-E2B-it模型的静态量化版本,支持多种语音和文本处理任务
大型语言模型 Transformers 英语
H
mradermacher
583
1
Diffucoder 7B Cpgrpo 8bit
DiffuCoder-7B-cpGRPO-8bit是一个转换为MLX格式的代码生成模型,基于apple/DiffuCoder-7B-cpGRPO转换而来,专为开发者提供高效的代码生成工具。
大型语言模型 其他
D
mlx-community
272
2
Unireason Qwen3 14B RL GGUF
Apache-2.0
UniReason-Qwen3-14B-RL的静态量化版本,适用于文本生成和数学推理研究场景。
大型语言模型 Transformers 英语
U
mradermacher
272
1
Gemma 3n E2B GGUF
Google Gemma-3n-E2B模型的静态量化版本,提供多种量化类型以平衡模型大小和性能。
大型语言模型 Transformers 英语
G
mradermacher
207
0
Moonshotai Kimi Dev 72B GGUF
Kimi-Dev-72B是由moonshotai开发的大规模语言模型,经过GGUF量化优化,提供多种量化版本以适应不同硬件需求。
大型语言模型
M
featherless-ai-quants
290
1
Gemma 3n E4B It MLX Bf16
Gemma-3n-E4B-it 是由 Google 开发的模型,经过 MLX 量化优化,特别适用于苹果硅芯片设备。
大型语言模型 Transformers
G
lmstudio-community
130.21k
3
Delta Vector Austral 70B Winton GGUF
Apache-2.0
这是对Delta-Vector的Austral-70B-Winton模型进行的量化处理版本,通过量化技术减少模型的存储和计算资源需求,同时保持较好性能,适用于资源有限的场景。
大型语言模型 英语
D
bartowski
791
1
Neobert GGUF
MIT
这是chandar-lab/NeoBERT模型的静态量化版本,旨在减少模型存储空间和计算资源需求。
大型语言模型 Transformers 英语
N
mradermacher
219
1
Gama 12b I1 GGUF
Gama-12B的量化版本,提供多种量化类型的文件,适用于文本生成任务,支持英语和葡萄牙语。
大型语言模型 Transformers 支持多种语言
G
mradermacher
559
1
Gama 12b GGUF
Gama-12B是一个多语言支持的大语言模型,提供多种量化版本以适应不同性能和精度需求。
大型语言模型 Transformers 支持多种语言
G
mradermacher
185
1
Longwriter Zero 32B I1 GGUF
Apache-2.0
LongWriter-Zero-32B 量化模型基于 THU-KEG/LongWriter-Zero-32B 基础模型,支持中英双语,适用于强化学习、写作等长上下文场景。
大型语言模型 Transformers 支持多种语言
L
mradermacher
135
1
Skywork Skywork SWE 32B GGUF
Apache-2.0
Skywork-SWE-32B是一个32B参数的大语言模型,经过Llamacpp imatrix量化,可在资源受限环境下高效运行。
大型语言模型
S
bartowski
921
2
Nvidia AceReason Nemotron 1.1 7B GGUF
其他
这是NVIDIA AceReason - Nemotron - 1.1 - 7B模型的量化版本,通过优化模型在不同硬件上的运行效率,同时保持一定的性能和质量。
大型语言模型 支持多种语言
N
bartowski
1,303
1
Openbuddy OpenBuddy R1 0528 Distill Qwen3 32B Preview0 QAT GGUF
Apache-2.0
这是OpenBuddy-R1-0528-Distill-Qwen3-32B-Preview0-QAT的量化版本,借助量化技术可以在不同硬件条件下更高效地运行模型。
大型语言模型 支持多种语言
O
bartowski
720
1
Qwen3 Embedding 0.6B Onnx Uint8
Apache-2.0
这是一个基于ONNX的量化模型,是Qwen/Qwen3-Embedding-0.6B的uint8量化版本,在保持检索性能的同时减少了模型大小。
文本嵌入
Q
electroglyph
112
8
Wan2.1 T2V 14B FusionX VACE GGUF
Apache-2.0
这是一个文本到视频量化模型,基于特定基础模型进行量化转换,支持多种视频生成任务。
文本生成视频 英语
W
QuantStack
461
3
Wan2.1 T2V 14B FusionX GGUF
Apache-2.0
这是一个文本到视频的量化模型,将基础模型转换为GGUF格式,可在ComfyUI中使用,为文本到视频生成提供更多选择。
文本生成视频 英语
W
QuantStack
563
2
Deepseek R1 0528 Qwen3 8B 6bit
MIT
基于DeepSeek-R1-0528-Qwen3-8B模型转换的6位量化版本,适用于MLX框架的文本生成任务。
大型语言模型
D
mlx-community
582
1
Blitzar Coder 4B F.1 GGUF
Apache-2.0
Blitzar-Coder-4B-F.1是一个高效的多语言编码模型,基于Qwen3-4B微调,支持10多种编程语言,具备出色的代码生成、调试和推理能力。
大型语言模型 Transformers
B
prithivMLmods
267
1
Home Llama 3.2 3B
其他
Home Llama 3.2 3B是基于Meta的Llama 3.2 3B模型微调得到的,专门用于控制家庭设备和执行基本问答任务。
大型语言模型 Safetensors 支持多种语言
H
acon96
405
1
Qwen2.5 VL 7B Instruct Gemlite Ao A8w8
Apache-2.0
这是一个经过A8W8量化的多模态大语言模型,基于Qwen2.5-VL-7B-Instruct,支持视觉和语言任务。
图像生成文本 Transformers
Q
mobiuslabsgmbh
161
1
Echelon AI Med Qwen2 7B GGUF
该项目提供了Echelon-AI/Med-Qwen2-7B模型的GGUF量化文件,由Featherless AI提供支持,旨在增强模型性能并降低运行成本。
大型语言模型
E
featherless-ai-quants
183
1
Deepseek Ai DeepSeek R1 Distill Qwen 14B GGUF
DeepSeek-R1-Distill-Qwen-14B 是一个经过优化的14B参数规模的大语言模型,由DeepSeek AI发布,基于Qwen架构蒸馏而来,提供多种GGUF量化版本以提升性能。
大型语言模型
D
featherless-ai-quants
237
1
Gemma 3n E4B It
Gemma 3n是Google推出的轻量级、最先进的开源多模态模型家族,基于与Gemini模型相同的研究和技术构建,支持文本、音频和视觉输入。
图像生成文本 Transformers
G
google
1,690
81
Bielik 11B V2.6 Instruct GGUF
Apache-2.0
Bielik-11B-v2.6-Instruct 是一个波兰语的大语言模型,由 SpeakLeash 和 ACK Cyfronet AGH 开发,基于 Bielik-11B-v2 微调而来,适用于指令跟随任务。
大型语言模型 Transformers
B
speakleash
206
5
Phi 3.5 Mini Instruct
MIT
Phi-3.5-mini-instruct是一款轻量级、先进的开源模型,基于Phi-3使用的数据集构建,专注于高质量、富含推理的数据。支持128K令牌上下文长度,具有强大的多语言能力和长上下文处理能力。
大型语言模型 Transformers 其他
P
Lexius
129
1
Qwen2 Audio 7B Instruct GGUF
Apache-2.0
Qwen2-Audio-7B-Instruct模型的静态量化版本,支持英文音频文本转文本任务
音频生成文本 Transformers 英语
Q
mradermacher
146
0
Drmedra4b I1 GGUF
Apache-2.0
DrMedra4B是一个专注于医学领域的量化模型,支持英语和罗马尼亚语,适用于医疗人工智能、临床推理、摘要生成和诊断等任务。
大型语言模型 Transformers 支持多种语言
D
mradermacher
292
0
AIbase
智启未来,您的人工智能解决方案智库
简体中文