高精度量化
Infly Inf O1 Pi0 GGUF
基于infly/inf-o1-pi0模型的量化版本,支持多语言文本生成任务,采用llama.cpp工具进行imatrix量化优化。
大型语言模型
支持多种语言
I
bartowski
301
1
Allura Org Q3 30B A3B Designant GGUF
基于allura-org/Q3-30B-A3B-Designant的Llamacpp imatrix量化版本,适用于多种量化需求,支持角色扮演和对话式任务。
大型语言模型
A
bartowski
344
1
Pocketdoc Dans PersonalityEngine V1.3.0 12b GGUF
Apache-2.0
一个基于llama.cpp量化的12B参数多语言大语言模型,支持角色扮演、故事创作及多领域专业任务
大型语言模型
P
bartowski
1,027
3
Pocketdoc Dans PersonalityEngine V1.3.0 24b GGUF
Apache-2.0
一个多语言、多用途的大型语言模型,支持多种专业领域和通用任务,适用于角色扮演、故事创作、编程等多种场景。
大型语言模型
P
bartowski
2,543
4
Allura Org Q3 30b A3b Pentiment GGUF
Q3-30b-A3b-Pentiment 是一个基于 LLaMA 架构的大型语言模型,经过量化处理,适用于多种文本生成任务。
大型语言模型
A
bartowski
1,220
2
Qwen3 8B GGUF
Apache-2.0
Qwen3是通义千问系列最新一代大语言模型,提供稠密模型和混合专家(MoE)模型的完整套件。
大型语言模型
英语
Q
prithivMLmods
1,222
1
Qwen3 1.7B GGUF
Apache-2.0
Qwen3是通义千问系列大语言模型的最新版本,提供了一系列密集型和混合专家(MoE)模型。
大型语言模型
英语
Q
prithivMLmods
357
1
Primeintellect INTELLECT 2 GGUF
Apache-2.0
INTELLECT-2的量化版本,使用llama.cpp进行优化,支持多种量化类型以适应不同硬件需求。
大型语言模型
P
bartowski
6,268
4
Gryphe Pantheon Proto RP 1.8 30B A3B GGUF
Apache-2.0
这是一个基于Gryphe/Pantheon-Proto-RP-1.8-30B-A3B模型的量化版本,使用llama.cpp进行量化,适用于角色扮演和文本生成任务。
大型语言模型
英语
G
bartowski
2,972
6
Cognitivecomputations Dolphin Mistral 24B Venice Edition GGUF
Apache-2.0
Dolphin-Mistral-24B-Venice-Edition的Llamacpp imatrix量化版本,支持多种量化类型,适用于文本生成任务。
大型语言模型
C
bartowski
4,718
6
Qwen Qwen2.5 VL 72B Instruct GGUF
其他
Qwen2.5-VL-72B-Instruct的多模态大语言模型量化版本,支持图像文本到文本任务,适用于多种量化级别,从高精度到低内存需求。
文本生成图像
英语
Q
bartowski
1,336
1
Qwen Qwen2.5 VL 7B Instruct GGUF
Apache-2.0
Qwen2.5-VL-7B-Instruct的量化版本,使用llama.cpp进行量化,支持多模态任务,适用于图文转文本等应用场景。
文本生成图像
英语
Q
bartowski
2,056
2
Nvidia OpenCodeReasoning Nemotron 32B IOI GGUF
Apache-2.0
这是NVIDIA OpenCodeReasoning-Nemotron-32B-IOI模型的量化版本,使用llama.cpp进行量化处理,适用于代码推理任务。
大型语言模型
支持多种语言
N
bartowski
1,272
2
Nomic Ai Nomic Embed Code GGUF
Apache-2.0
这是nomic-ai/nomic-embed-code模型的量化版本,使用llama.cpp进行imatrix量化,适用于代码嵌入和特征提取任务。
文本嵌入
N
bartowski
2,109
3
Goekdeniz Guelmez Josiefied Qwen3 8B Abliterated V1 GGUF
这是Qwen3-8B模型的量化版本,使用llama.cpp进行imatrix量化,适用于聊天场景。
大型语言模型
G
bartowski
7,520
12
Allura Org Remnant Glm4 32b GGUF
Apache-2.0
Remnant-GLM4-32B 是一个基于 GLM4 架构的 32B 参数大语言模型,支持角色扮演和对话式交互,特别适合蝾螈相关的应用场景。
大型语言模型
A
bartowski
2,198
2
Nomic Embed Code GGUF
Apache-2.0
Nomic代码嵌入模型是一款顶尖的代码检索工具,支持多种编程语言,擅长代码检索任务。
文本嵌入
N
nomic-ai
1,300
4
Mlabonne Qwen3 14B Abliterated GGUF
这是Qwen3-14B-abliterated模型的量化版本,使用llama.cpp的imatrix选项进行量化,适用于文本生成任务。
大型语言模型
M
bartowski
18.67k
16
Qwen Qwen3 32B GGUF
Apache-2.0
基于Qwen/Qwen3-32B的量化版本,使用llama.cpp进行量化,支持多种量化类型,适用于不同硬件需求。
大型语言模型
Q
bartowski
49.13k
35
Qwen Qwen3 30B A3B GGUF
Apache-2.0
基于Qwen/Qwen3-30B-A3B的量化版本,使用llama.cpp进行多种精度量化,适用于文本生成任务。
大型语言模型
Q
bartowski
79.34k
49
Mistral Small 24B Instruct 2501 GGUF
Apache-2.0
Mistral-Small-24B-Instruct-2501 是一个24B参数规模的指令微调大语言模型,支持多语言文本生成任务。
大型语言模型
支持多种语言
M
bartowski
48.61k
111
Pocketdoc Dans SakuraKaze V1.0.0 12b GGUF
Apache-2.0
基于PocketDoc/Dans-SakuraKaze-V1.0.0-12b的Llamacpp imatrix量化版本,支持多种量化类型,适用于文本生成任务。
大型语言模型
英语
P
bartowski
788
3
Llama 3.3 70B Instruct Abliterated GGUF
基于Llama 3.3架构的70B参数大语言模型,支持多语言文本生成任务,经过量化优化适用于不同硬件环境
大型语言模型
支持多种语言
L
bartowski
7,786
8
Glm 4 9b Chat Abliterated GGUF
其他
基于GLM-4架构的9B参数聊天模型,支持中英文对话,经过量化处理适用于不同硬件环境
大型语言模型
支持多种语言
G
bartowski
2,676
11
Zero Mistral 24B Gguf
MIT
Zero-Mistral-24B 是一个基于 Mistral 架构的大型语言模型,支持俄语和英语,适用于对话和文本生成任务。
大型语言模型
支持多种语言
Z
ZeroAgency
613
3
Google Gemma 3 27b It Qat GGUF
基于Google Gemma 3 270亿参数指令调优模型的量化版本,采用量化感知训练(QAT)权重生成,支持多种量化级别以适应不同硬件需求。
大型语言模型
G
bartowski
14.97k
31
Nvidia Llama 3 1 Nemotron Ultra 253B V1 GGUF
其他
这是NVIDIA Llama-3_1-Nemotron-Ultra-253B-v1模型的量化版本,使用llama.cpp进行量化,支持多种量化类型,适用于不同硬件环境。
大型语言模型
英语
N
bartowski
1,607
3
Gemma 3 27b Tools Q5 K M GGUF
该模型是基于Gemma-3-27b-tools转换的GGUF格式版本,适用于本地推理任务。
大型语言模型
G
attashe
101
1
Gemma 3 R1984 27B Q6 K GGUF
基于VIDraft/Gemma-3-R1984-27B转换的GGUF格式模型,支持多语言文本生成
大型语言模型
支持多种语言
G
GrimsenClory
28
1
Mlabonne Gemma 3 4b It Abliterated GGUF
这是一个基于mlabonne/gemma-3-4b-it-abliterated模型的量化版本,使用llama.cpp进行imatrix量化,适用于图像文本到文本任务。
图像生成文本
M
bartowski
9,164
8
Mlabonne Gemma 3 12b It Abliterated GGUF
基于mlabonne/gemma-3-12b-it-abliterated模型的量化版本,使用llama.cpp进行imatrix量化,适用于文本生成任务。
大型语言模型
M
bartowski
7,951
6
Mlabonne Gemma 3 27b It Abliterated GGUF
基于Google Gemma 3B模型的量化版本,使用llama.cpp进行优化,支持多种量化级别,适用于文本生成任务。
大型语言模型
M
bartowski
7,217
20
Beaverai MN 2407 DSK QwQify V0.1 12B GGUF
Apache-2.0
基于12B参数的大语言模型,支持文本生成任务,采用Apache-2.0许可证发布。
大型语言模型
B
bartowski
1,547
5
Gemma 3 12b It Q8 0 GGUF
该模型是从google/gemma-3-12b-it转换而来的GGUF格式模型,适用于llama.cpp框架。
大型语言模型
G
NikolayKozloff
89
1
Gemma 3 12b It GGUF
Gemma-3-12b-it 是 Google 开发的一个大型语言模型,基于 transformer 架构,专注于文本生成任务。
大型语言模型
G
second-state
583
1
Open R1 OlympicCoder 32B GGUF
Apache-2.0
OlympicCoder-32B的量化版本,基于llama.cpp的imatrix量化方法,适用于代码生成任务。
大型语言模型
英语
O
bartowski
12.60k
12
Rombo Org Rombo LLM V3.1 QWQ 32b GGUF
Apache-2.0
Rombo-LLM-V3.1-QWQ-32b是一个32B参数规模的大型语言模型,经过llama.cpp的imatrix量化处理,提供多种量化版本以适应不同硬件需求。
大型语言模型
R
bartowski
2,132
5
Thedrummer Skyfall 36B V2 GGUF
其他
Skyfall-36B-v2是一个36B参数的大语言模型,经过llama.cpp的imatrix量化处理,提供多种量化版本以适应不同硬件需求。
大型语言模型
T
bartowski
40.42k
11
Thedrummer Cydonia 24B V2 GGUF
其他
这是一个24B参数的大语言模型,经过llama.cpp的imatrix量化处理,提供多种量化版本以适应不同硬件需求。
大型语言模型
T
bartowski
5,797
16
Nousresearch DeepHermes 3 Llama 3 8B Preview GGUF
基于Llama-3-8B微调的对话模型,支持多种量化版本,适用于聊天、推理和角色扮演等任务。
大型语言模型
英语
N
bartowski
1,038
16