# 多级量化

Nvidia OpenReasoning Nemotron 32B GGUF
NVIDIA OpenReasoning - Nemotron - 32B的量化版本,通过llama.cpp进行量化处理,减少模型存储和计算资源需求,便于部署。
大型语言模型
N
bartowski
2,382
1
Nvidia OpenReasoning Nemotron 14B GGUF
这是NVIDIA的OpenReasoning-Nemotron-14B模型的量化版本,旨在提升模型在不同硬件上的运行效率和性能。
大型语言模型
N
bartowski
1,039
1
Hacker News Comments Summarization Gemma 3 27b It GGUF
这是一个基于Gemma 3 27B模型的量化版本,专门用于生成黑客新闻(Hacker News)评论的摘要。
大型语言模型 英语
H
mradermacher
190
0
Lightblue Reranker 0.5 Bin Filt Gguf
这是一个文本排序模型,用于对文本进行重新排序和评分,以提高搜索结果的相关性。
文本嵌入
L
RichardErkhov
2,101
0
Open R1 OlympicCoder 7B GGUF
Apache-2.0
OlympicCoder-7B是一个专注于代码生成的7B参数大语言模型,基于open-r1/OlympicCoder-7B进行llama.cpp量化,支持多种量化级别选择。
大型语言模型 英语
O
bartowski
5,859
9
SDXL GGUF
MIT
Stable Diffusion XL的GGUF格式量化版本,提供不同量化级别以适应不同硬件配置。
文本生成图像
S
HyperX-Sentience
2,189
5
Black Ink Guild Pernicious Prophecy 70B GGUF
基于llama.cpp的70B参数大语言模型量化版本,提供多种量化选项以适应不同硬件条件
大型语言模型 英语
B
bartowski
198
1
Rank Zephyr 7b V1 Full GGUF
MIT
这是castorini/rank_zephyr_7b_v1_full模型的GGUF量化版本,适用于文本排序任务。
大型语言模型 英语
R
tensorblock
66
0
Llama Guard 3 8B IMat GGUF
这是对meta-llama/Llama-Guard-3-8B进行Llama.cpp imatrix量化后的项目,提供了不同量化类型的文件,方便用户根据自身需求进行选择和使用。
大型语言模型 英语
L
legraphista
847
4
Llama 3 70B Instruct Abliterated GGUF
基于Meta LLaMA-3 70B的指令微调模型,经过量化处理,适用于本地部署和高效推理。
大型语言模型
L
bartowski
686
6
AIbase
智启未来,您的人工智能解决方案智库
简体中文