低资源部署
Qwen2 Audio 7B Instruct GGUF
Apache-2.0
Qwen2-Audio-7B-Instruct模型的静态量化版本,支持英文音频文本转文本任务
音频生成文本
Transformers
英语
Q
mradermacher
146
0
Drmedra4b I1 GGUF
Apache-2.0
DrMedra4B是一个专注于医学领域的量化模型,支持英语和罗马尼亚语,适用于医疗人工智能、临床推理、摘要生成和诊断等任务。
大型语言模型
Transformers
支持多种语言
D
mradermacher
292
0
Sarvamai Sarvam M GGUF
Apache-2.0
这是Sarvam-m模型的量化版本,支持多种印度语言和英语的文本生成任务。
大型语言模型
支持多种语言
S
bartowski
845
1
Infly Inf O1 Pi0 GGUF
基于infly/inf-o1-pi0模型的量化版本,支持多语言文本生成任务,采用llama.cpp工具进行imatrix量化优化。
大型语言模型
支持多种语言
I
bartowski
301
1
Nvidia AceReason Nemotron 7B GGUF
其他
AceReason-Nemotron-7B 是一个基于 Nemotron 架构的 7B 参数规模的大型语言模型,提供多种量化版本以适应不同硬件需求。
大型语言模型
N
bartowski
209
2
Allura Org Q3 30B A3B Designant GGUF
基于allura-org/Q3-30B-A3B-Designant的Llamacpp imatrix量化版本,适用于多种量化需求,支持角色扮演和对话式任务。
大型语言模型
A
bartowski
344
1
Devstral Small 2505 4bit DWQ
Apache-2.0
这是一个基于MLX格式的4位量化语言模型,适用于文本生成任务。
大型语言模型
支持多种语言
D
mlx-community
238
3
AM Thinking V1 GGUF
Apache-2.0
AM-Thinking-v1 是一个基于 GGUF 格式的文本生成模型,适用于多种自然语言处理任务。
大型语言模型
Transformers
A
Mungert
1,234
1
Facebook KernelLLM GGUF
其他
KernelLLM是Facebook开发的大语言模型,此版本为使用llama.cpp工具进行imatrix量化的版本,提供多种量化选项以适应不同硬件需求。
大型语言模型
F
bartowski
5,151
2
Verireason Qwen2.5 1.5B Grpo Small GGUF
这是Nellyw888/VeriReason-Qwen2.5-1.5B-grpo-small模型的静态量化版本,专注于Verilog代码生成和推理任务。
大型语言模型
英语
V
mradermacher
48
1
A M Team AM Thinking V1 GGUF
Apache-2.0
基于a-m-team/AM-Thinking-v1模型的Llamacpp imatrix量化版本,支持多种量化类型,适用于文本生成任务。
大型语言模型
A
bartowski
671
1
Thedrummer Big Alice 28B V1 GGUF
MIT
Big-Alice-28B-v1是一个28B参数的大语言模型,经过llama.cpp的imatrix量化处理,提供多种量化版本以适应不同硬件需求。
大型语言模型
T
bartowski
2,259
4
Wan2.1 VACE 14B GGUF
Apache-2.0
这是Wan-AI/Wan2.1-VACE-14B模型的GGUF量化转换版本,主要用于文本生成视频任务。
文本生成视频
W
QuantStack
2,331
23
Qwen3 0.6B Llamafile
Apache-2.0
Qwen3是Qwen系列最新一代的大语言模型,提供0.6B参数的密集模型,在推理、指令遵循、代理能力和多语言支持方面有突破性进展。
大型语言模型
Q
Mozilla
250
1
Thedrummer Rivermind Lux 12B V1 GGUF
这是一个12B参数的大语言模型,经过llama.cpp的imatrix量化处理,提供多种量化版本以适应不同硬件需求。
大型语言模型
T
bartowski
1,353
1
Qwen3 4B GGUF
Apache-2.0
Qwen3是通义千问系列最新一代大语言模型,提供完整的稠密模型与混合专家(MoE)模型组合。
大型语言模型
英语
Q
prithivMLmods
829
1
Primeintellect INTELLECT 2 GGUF
Apache-2.0
INTELLECT-2的量化版本,使用llama.cpp进行优化,支持多种量化类型以适应不同硬件需求。
大型语言模型
P
bartowski
6,268
4
Andrewzh Absolute Zero Reasoner Coder 7b GGUF
基于andrewzh的Absolute_Zero_Reasoner-Coder-7b模型的Llamacpp量化版本,支持多种量化级别,适用于推理和代码生成任务。
大型语言模型
A
bartowski
1,325
5
Gryphe Pantheon Proto RP 1.8 30B A3B GGUF
Apache-2.0
这是一个基于Gryphe/Pantheon-Proto-RP-1.8-30B-A3B模型的量化版本,使用llama.cpp进行量化,适用于角色扮演和文本生成任务。
大型语言模型
英语
G
bartowski
2,972
6
Qwen Qwen2.5 VL 7B Instruct GGUF
Apache-2.0
Qwen2.5-VL-7B-Instruct的量化版本,使用llama.cpp进行量化,支持多模态任务,适用于图文转文本等应用场景。
文本生成图像
英语
Q
bartowski
2,056
2
Qwen3 30B A3B 4bit DWQ 05082025
Apache-2.0
这是一个基于Qwen/Qwen3-30B-A3B转换至MLX格式的4位量化模型,适用于文本生成任务。
大型语言模型
Q
mlx-community
240
5
Nvidia OpenCodeReasoning Nemotron 32B IOI GGUF
Apache-2.0
这是NVIDIA OpenCodeReasoning-Nemotron-32B-IOI模型的量化版本,使用llama.cpp进行量化处理,适用于代码推理任务。
大型语言模型
支持多种语言
N
bartowski
1,272
2
Nvidia OpenCodeReasoning Nemotron 14B GGUF
Apache-2.0
这是NVIDIA OpenCodeReasoning-Nemotron-14B模型的Llamacpp imatrix量化版本,适用于代码推理任务。
大型语言模型
支持多种语言
N
bartowski
1,771
2
Nomic Ai Nomic Embed Code GGUF
Apache-2.0
这是nomic-ai/nomic-embed-code模型的量化版本,使用llama.cpp进行imatrix量化,适用于代码嵌入和特征提取任务。
文本嵌入
N
bartowski
2,109
3
Parakeet Tdt 0.6b V2 Onnx
NVIDIA Parakeet TDT 0.6B V2 是一个基于自动语音识别(ASR)任务的模型,适用于英语语音转文本任务。
语音识别
英语
P
istupakov
129
3
Goekdeniz Guelmez Josiefied Qwen3 8B Abliterated V1 GGUF
这是Qwen3-8B模型的量化版本,使用llama.cpp进行imatrix量化,适用于聊天场景。
大型语言模型
G
bartowski
7,520
12
Medra GGUF
Apache-2.0
Medra是一个基于医疗领域的问答和摘要生成模型,支持英语和罗马尼亚语,适用于医疗人工智能应用。
大型语言模型
支持多种语言
M
mradermacher
195
0
Allura Org Remnant Glm4 32b GGUF
Apache-2.0
Remnant-GLM4-32B 是一个基于 GLM4 架构的 32B 参数大语言模型,支持角色扮演和对话式交互,特别适合蝾螈相关的应用场景。
大型语言模型
A
bartowski
2,198
2
Bielik 1.5B V3.0 Instruct GGUF
Apache-2.0
这是一个波兰语的1.5B参数指令微调模型,基于SpeakLeash的Bielik系列开发,适用于文本生成任务。
大型语言模型
其他
B
speakleash
341
3
Microsoft Phi 4 Reasoning GGUF
MIT
这是微软Phi-4-reasoning模型的量化版本,使用llama.cpp进行优化,适用于推理任务,支持多种量化选项。
大型语言模型
M
bartowski
5,443
4
Muyan TTS Q8 0 GGUF
Muyan-TTS是一个文本转语音(TTS)模型,已转换为GGUF格式以便与llama.cpp配合使用。
语音合成
M
NikolayKozloff
80
2
Qwen3 4B GGUF
Apache-2.0
Qwen3-4B是基于Qwen3-4B-Base的GGUF格式模型,适用于文本生成任务。
大型语言模型
Q
Mungert
1,507
7
Mlabonne Qwen3 8B Abliterated GGUF
这是Qwen3-8B-abliterated模型的量化版本,使用llama.cpp进行量化,适用于文本生成任务。
大型语言模型
M
bartowski
6,892
5
Mlabonne Qwen3 14B Abliterated GGUF
这是Qwen3-14B-abliterated模型的量化版本,使用llama.cpp的imatrix选项进行量化,适用于文本生成任务。
大型语言模型
M
bartowski
18.67k
16
Llasa 1B Multilingual Mlx 8Bit
这是一个多语言文本转语音模型,支持包括中文、英语、德语等11种语言,基于HKUSTAudio/Llasa-1B-Multilingual转换而来。
语音合成
支持多种语言
L
nhe-ai
21
0
Qwen3 1.7B Q8 0 GGUF
Apache-2.0
Qwen3-1.7B-Q8_0-GGUF是基于Qwen/Qwen3-1.7B转换的GGUF格式模型,支持文本生成任务,具备多语言支持和高效的推理能力。
大型语言模型
Q
Triangle104
277
1
Chengsenwang ChatTime 1 7B Base GGUF
Apache-2.0
ChatTime-1-7B-Base是一个专注于时间序列预测的基础模型,支持多模态时间序列处理。
多模态融合
C
tensorblock
175
0
Chengsenwang ChatTime 1 7B Chat GGUF
Apache-2.0
ChatTime-1-7B-Chat是一个专注于时间序列预测的多模态基础模型,基于7B参数规模构建。
多模态融合
C
tensorblock
153
0
Qwen Qwen3 0.6B GGUF
Apache-2.0
本仓库包含Qwen/Qwen3-0.6B的GGUF格式模型文件,由TensorBlock提供的机器进行量化处理,兼容llama.cpp。
大型语言模型
Q
tensorblock
905
3
Qwen Qwen3 0.6B GGUF
Qwen团队提供的Qwen3-0.6B的Llamacpp imatrix量化版本,使用llama.cpp进行量化,支持在LM Studio或基于llama.cpp的项目中运行。
大型语言模型
Q
bartowski
10.24k
14