AIbase

多级量化
Hacker News Comments Summarization Gemma 3 27b It GGUF
这是一个基于Gemma 3 27B模型的量化版本，专门用于生成黑客新闻（Hacker News）评论的摘要。
大型语言模型
英语
H
mradermacher
190
0
Lightblue Reranker 0.5 Bin Filt Gguf
这是一个文本排序模型，用于对文本进行重新排序和评分，以提高搜索结果的相关性。
文本嵌入
L
RichardErkhov
2,101
0
Open R1 OlympicCoder 7B GGUF
Apache-2.0
OlympicCoder-7B是一个专注于代码生成的7B参数大语言模型，基于open-r1/OlympicCoder-7B进行llama.cpp量化，支持多种量化级别选择。
大型语言模型
英语
O
bartowski
5,859
9
SDXL GGUF
MIT
Stable Diffusion XL的GGUF格式量化版本，提供不同量化级别以适应不同硬件配置。
文本生成图像
S
HyperX-Sentience
2,189
5
Rank Zephyr 7b V1 Full GGUF
MIT
这是castorini/rank_zephyr_7b_v1_full模型的GGUF量化版本，适用于文本排序任务。
大型语言模型
英语
R
tensorblock
66
0
Llama 3 70B Instruct Abliterated GGUF
基于Meta LLaMA-3 70B的指令微调模型，经过量化处理，适用于本地部署和高效推理。
大型语言模型
L
bartowski
686
6