低资源推理
Phantom Wan 1.3B GGUF
Apache-2.0
这是bytedance-research/Phantom模型的GGUF直接转换版本,可在ComfyUI中结合ComfyUI-GGUF自定义节点使用。
文本生成视频
英语
P
QuantStack
174
0
Gemma 3 1b It Fast GUFF
针对低端硬件和纯CPU环境优化的量化版本,在资源限制下实现生产可用的推理就绪配置
大型语言模型
G
h4shy
101
1
Llava 1.5 7b Hf Q4 K M GGUF
该模型是基于llava-hf/llava-1.5-7b-hf转换的GGUF格式模型,支持图像文本生成任务。
图像生成文本
英语
L
Marwan02
30
1
Seed Coder 8B Reasoning Bf16 Q6 K GGUF
MIT
这是一个基于ByteDance-Seed/Seed-Coder-8B-Reasoning-bf16转换的GGUF格式模型,适用于代码生成和推理任务。
大型语言模型
S
GrimsenClory
100
1
Magtie V1 12B GGUF
Apache-2.0
MagTie-v1-12B的GGUF量化版本集合,通过mergekit工具合并预训练语言模型创建,适用于文本生成任务。
大型语言模型
Transformers
M
grimjim
373
2
Bielik 4.5B V3.0 Instruct GGUF
Apache-2.0
Bielik-4.5B-v3.0-Instruct-GGUF 是 SpeakLeash 发布的波兰语大语言模型,基于 Bielik-4.5B-v3.0-Instruct 转换的 GGUF 量化格式,适用于本地推理。
大型语言模型
其他
B
speakleash
693
4
Qwen3 8B GGUF
Apache-2.0
Qwen3是通义千问系列大语言模型的最新迭代,提供稠密模型与混合专家(MoE)模型的完整套件。
大型语言模型
Q
Qwen
4,474
8
Qwen Qwen3 8B GGUF
Apache-2.0
Qwen3-8B的GGUF格式量化版本,由TensorBlock提供,兼容llama.cpp
大型语言模型
Q
tensorblock
452
1
Nousresearch DeepHermes 3 Llama 3 3B Preview GGUF
基于Llama-3-3B架构的指令微调模型,支持对话、推理和角色扮演等任务,适用于通用人工智能辅助场景。
大型语言模型
英语
N
bartowski
1,033
3
Llama 3 8B Instruct Abliterated TR
LLaMA-3-8B-Instruct的消融版本,通过特定技术手段强制模型用土耳其语响应
大型语言模型
Transformers
其他
L
Metin
25
5
Ring Lite Linear Preview
MIT
玲珑线性预览版是由InclusionAI开源发布的混合线性稀疏大语言模型,总参数量17.1B,激活参数量3.0B。
大型语言模型
支持多种语言
R
inclusionAI
25
8
Zero Mistral 24B Gguf
MIT
Zero-Mistral-24B 是一个基于 Mistral 架构的大型语言模型,支持俄语和英语,适用于对话和文本生成任务。
大型语言模型
支持多种语言
Z
ZeroAgency
613
3
Deepseek R1 GGUF UD
MIT
DeepSeek-R1 是一个高效的大语言模型,采用了 Unsloth Dynamic v2.0 量化技术,实现了卓越的准确性。
大型语言模型
英语
D
unsloth
3,149
11
Orpheus 3b Kaya Q2 K.gguf
Apache-2.0
基于Canopy Labs预训练模型微调的文本转语音模型,支持英语,采用GGUF Q2_K量化格式实现高效推理
语音合成
支持多种语言
O
lex-au
39
0
Orpheus 3b Kaya Q4 K M.gguf
Apache-2.0
基于Canopy Labs预训练模型微调的文本转语音模型,量化后支持高效推理
语音合成
支持多种语言
O
lex-au
98
0
Orpheus 3b Kaya FP16.gguf
Apache-2.0
基于Canopy Labs预训练模型微调的文本转语音(TTS)模型,量化为GGUF FP16格式以实现高效推理
语音合成
支持多种语言
O
lex-au
45
0
Orpheus 3b Kaya Q8 0.gguf
Apache-2.0
基于Canopy Labs预训练模型微调的8位量化文本转语音模型,支持英语24kHz音频生成
语音合成
支持多种语言
O
lex-au
38
0
Google Gemma 3 27b It Qat GGUF
基于Google Gemma 3 270亿参数指令调优模型的量化版本,采用量化感知训练(QAT)权重生成,支持多种量化级别以适应不同硬件需求。
大型语言模型
G
bartowski
14.97k
31
Gemma 3 12b It GPTQ 4b 128g
该模型是对google/gemma-3-12b-it进行INT4量化的版本,通过GPTQ算法将参数从16比特降至4比特,显著减少了磁盘空间和GPU内存需求。
图像生成文本
Transformers
G
ISTA-DASLab
1,175
2
3b Hi Ft Research Release Q4 K M GGUF
Apache-2.0
这是一个基于canopylabs/3b-hi-ft-research_release模型转换的GGUF格式模型,支持印地语文本处理。
大型语言模型
其他
3
freddyaboulton
123
0
Phi 4 Mini Instruct 8da4w
MIT
Phi-4-mini 是由 PyTorch 团队开发的量化语言模型,采用8位嵌入和8位动态激活,以及4位权重线性层(8da4w)的量化方案,适合移动端部署。
大型语言模型
Transformers
其他
P
pytorch
780
1
Gemma 3 4b It Abliterated Q4 0 GGUF
该模型是mlabonne/gemma-3-4b-it-abliterated的GGUF格式转换版本,结合了x-ray_alpha的视觉组件,提供更流畅的多模态体验。
图像生成文本
G
BernTheCreator
160
1
Gemma 3 4b It Q4 0
Gemma 3 4B Instruct 是 Google 开发的一个 40 亿参数的大语言模型,专注于文本生成和理解任务。
大型语言模型
G
danchev
24
0
Doge 120M MoE Instruct
Apache-2.0
Doge模型采用动态掩码注意力机制进行序列转换,并可使用多层感知机或跨域专家混合进行状态转换。
大型语言模型
Transformers
英语
D
SmallDoge
240
1
Bge Reranker Base Q4 K M GGUF
MIT
基于BAAI/bge-reranker-base模型转换的GGUF格式重排序模型,支持中英文文本排序任务
文本嵌入
支持多种语言
B
sabafallah
44
0
Turkish Llama 3 8B Function Calling GGUF
Apache-2.0
这是一个基于Turkish-Llama-8b-DPO-v0.1模型微调的土耳其语函数调用模型,专门用于执行土耳其语的函数调用任务。
大型语言模型
Transformers
支持多种语言
T
oncu
103
1
Qwen2.5 VL 7B Instruct Q8 0 GGUF
Apache-2.0
该模型是基于Qwen2.5-VL-7B-Instruct转换的GGUF格式模型,支持多模态任务,适用于图像和文本的交互处理。
文本生成图像
英语
Q
cxtb
72
1
Qwen2.5 VL 7B Instruct Q4 K M GGUF
Apache-2.0
这是Qwen2.5-VL-7B-Instruct模型的GGUF量化版本,适用于多模态任务,支持图像和文本输入。
图像生成文本
英语
Q
PatataAliena
69
1
Fibonacci 2 14B
MIT
基于Phi 4架构的大型语言模型,拥有140亿参数,针对自然语言处理和文本对话任务进行了优化。
大型语言模型
支持多种语言
F
fibonacciai
97
13
Huihui Ai Gemma 3 1b It Abliterated GGUF
这是Google Gemma 3B模型的量化版本,基于llama.cpp进行优化,适合在资源有限的环境中运行。
大型语言模型
H
bartowski
3,123
3
Thedrummer Fallen Gemma3 4B V1 GGUF
其他
这是一个基于TheDrummer/Fallen-Gemma3-4B-v1模型的量化版本,使用llama.cpp进行量化处理,适用于文本生成任务。
大型语言模型
T
bartowski
2,106
3
Qwq 32B NF4
Apache-2.0
这是Qwen/QwQ-32B模型的4位量化版本,通过BitsAndBytes库进行优化,适用于资源受限环境下的文本生成任务。
大型语言模型
Transformers
英语
Q
ginipick
150
27
Mlabonne Gemma 3 4b It Abliterated GGUF
这是一个基于mlabonne/gemma-3-4b-it-abliterated模型的量化版本,使用llama.cpp进行imatrix量化,适用于图像文本到文本任务。
图像生成文本
M
bartowski
9,164
8
Gemmax2 28 9B V0.1 Q2 K GGUF
GemmaX2-28-9B-v0.1-Q2_K-GGUF 是一个基于 ModelSpace/GemmaX2-28-9B-v0.1 转换而来的 GGUF 格式模型,支持多种语言的翻译任务。
大型语言模型
支持多种语言
G
Gemini
151
1
RWKV7 Goose Pile 168M HF
Apache-2.0
采用闪存线性注意力格式的RWKV-7模型,基于Pile数据集训练,支持英语文本生成任务。
大型语言模型
Transformers
英语
R
RWKV
57
2
Qwen2.5 Bakeneko 32b Instruct V2 Gguf
Apache-2.0
这是对rinna/qwen2.5-bakeneko-32b-instruct-v2使用llama.cpp进行量化的版本,兼容多种基于llama.cpp的应用。
大型语言模型
日语
Q
rinna
597
5
Gemma 3 4b It Q4 K M GGUF
Gemma 3.4B IT 是由 Google 开发的开源大语言模型,此版本为通过 llama.cpp 转换为 GGUF 格式的 4-bit 量化版本。
大型语言模型
G
DravenBlack
186
1
Google.gemma 3 4b It GGUF
Gemma 3.4B IT 是 Google 开发的一个 34 亿参数的大语言模型,专注于指令调优版本,适用于多种自然语言处理任务。
大型语言模型
G
DevQuasar
141
1
Open R1 OlympicCoder 32B GGUF
Apache-2.0
OlympicCoder-32B的量化版本,基于llama.cpp的imatrix量化方法,适用于代码生成任务。
大型语言模型
英语
O
bartowski
12.60k
12
MS3 RP Broth 24B
Apache-2.0
Tantum合并过程中的中间步骤模型,由多个24B参数的Mistral和Llama3变体合并而成,适用于角色扮演和文本生成任务。
大型语言模型
Transformers
英语
M
d-rang-d
337
6