AIbase

轻量化部署
Qwen2.5 Omni 7B GGUF
其他
Qwen2.5-Omni-7B-GGUF 是基于 Qwen2.5-Omni-7B 模型的 GGUF 格式版本，支持多模态输入，包括文本、音频和图像。
大型语言模型
英语
Q
ggml-org
319
3
Nvidia.cosmos Reason1 7B GGUF
Cosmos-Reason1-7B是英伟达发布的7B参数规模的基础模型，专注于图文转文本任务。
大型语言模型
N
DevQuasar
287
1
Unsloth.devstral Small 2505 GGUF
Devstral-Small-2505是一个基于Mistral架构的小型语言模型，支持文本生成任务，并可通过兼容的mmproj文件实现基础视觉功能。
文本生成图像
U
DevQuasar
949
1
Devstral Small 2505 Bnb 4bit
Apache-2.0
Devstral是一款专为软件工程任务设计的智能大语言模型，由Mistral AI和All Hands AI合作开发，擅长代码库探索、多文件编辑和驱动软件工程代理。
大型语言模型
Safetensors
支持多种语言
D
unsloth
465
3
Qwen2 VL OCR 2B Instruct GGUF
Apache-2.0
基于Qwen/Qwen2-VL-2B-Instruct微调的多模态模型，专为OCR、图像转文本、LaTeX数学求解及手写识别优化
图像生成文本
支持多种语言
Q
prithivMLmods
142
1
Llava 1.5 7b Hf Q4 K M GGUF
该模型是基于llava-hf/llava-1.5-7b-hf转换的GGUF格式模型，支持图像文本生成任务。
图像生成文本
英语
L
Marwan02
30
1
Skywork Skywork OR1 7B GGUF
Skywork-OR1-7B 是一个 7B 参数规模的大语言模型，提供多种量化版本以适应不同硬件需求。
大型语言模型
S
bartowski
634
1
Ace Gguf
Apache-2.0
ACE-Step-v1-3.5B是一个文本转音频模型，支持高质量音频生成，适用于音乐和声音效果创作。
音频生成
A
calcuis
1,332
12
Openvision Vit Tiny Patch8 384
Apache-2.0
OpenVision是一个全开放、高性价比的先进视觉编码器家族，专注于多模态学习。
图像增强
Transformers
O
UCSC-VLAA
16
0
Josiefied Qwen3 8B Abliterated V1 8bit
基于Qwen3-8B优化的8位量化版本，适用于MLX框架的高效推理
大型语言模型
J
mlx-community
450
1
Muyan TTS SFT Q8 0 GGUF
该模型是基于MYZY-AI/Muyan-TTS-SFT转换的GGUF格式文本转语音模型，支持中文语音合成。
语音合成
M
NikolayKozloff
20
1
Fdtn Ai.foundation Sec 8B GGUF
Foundation-Sec-8B 是一个基于 Transformer 架构的大型语言模型，专注于文本生成任务。
大型语言模型
F
DevQuasar
1,248
2
Industry Project V2
Apache-2.0
基于Mistral架构优化的指令微调模型，适用于零样本分类任务
大型语言模型
I
omsh97
58
0
Huihui Ai.glm 4 9B 0414 Abliterated GGUF
GLM-4-9B-0414-abliterated 是一个基于 GLM 架构的 9B 参数规模的大型语言模型，适用于文本生成任务。
大型语言模型
H
DevQuasar
3,172
3
Llama 3.2 11B Vision Radiology Mini
这是一个基于Llama架构的多模态模型，支持视觉和文本指令，经过4位量化优化。
图像生成文本
L
p4rzvl
69
0
GLM Z1 9B 0414 Q4 K M GGUF
MIT
本模型是THUDM/GLM-Z1-9B-0414的GGUF格式转换版本，支持中英文文本生成任务。
大型语言模型
支持多种语言
G
Aldaris
205
2
Salesforce.llama Xlam 2 8b Fc R GGUF
Salesforce发布的8亿参数规模的Llama-xLAM-2模型量化版本，专注于文本生成任务
大型语言模型
S
DevQuasar
286
1
Gemma 3 4b It Abliterated Q4 0 GGUF
该模型是mlabonne/gemma-3-4b-it-abliterated的GGUF格式转换版本，结合了x-ray_alpha的视觉组件，提供更流畅的多模态体验。
图像生成文本
G
BernTheCreator
160
1
Qwen2.5 VL 7B Instruct Q4 K M GGUF
Apache-2.0
这是Qwen2.5-VL-7B-Instruct模型的GGUF量化版本，适用于多模态任务，支持图像和文本输入。
图像生成文本
英语
Q
PatataAliena
69
1
Mxbai Rerank Large V2 GGUF
Apache-2.0
本仓库包含mixedbread-ai/mxbai-rerank-large-v2的GGUF格式模型文件，由TensorBlock提供的机器进行量化，兼容llama.cpp。
文本嵌入
支持多种语言
M
tensorblock
150
1
Mistral Small 3.1 24B Instruct 2503 GGUF
Apache-2.0
Mistral-Small-3.1-24B-Instruct-2503 是一个24B参数规模的多语言指令微调模型，支持多种语言和任务，适用于文本生成和对话场景。
大型语言模型
支持多种语言
M
second-state
1,059
1
Thedrummer Fallen Gemma3 4B V1 GGUF
其他
这是一个基于TheDrummer/Fallen-Gemma3-4B-v1模型的量化版本，使用llama.cpp进行量化处理，适用于文本生成任务。
大型语言模型
T
bartowski
2,106
3
Orpheus 3b 0.1 Ft Q8 0 GGUF
Apache-2.0
该模型是基于canopylabs/orpheus-3b-0.1-ft转换的GGUF格式模型，适用于文本生成任务。
大型语言模型
英语
O
PkmX
406
2
Gemma 3 27b It Abliterated Q4 K M GGUF
该模型是基于mlabonne/gemma-3-27b-it-abliterated转换的GGUF格式版本，适用于llama.cpp框架的推理任务。
大型语言模型
G
NovNovikov
341
3
Gemma 3 27b It Abliterated Q8 0 GGUF
这是一个基于mlabonne/gemma-3-27b-it-abliterated转换的GGUF格式模型，适用于llama.cpp框架。
大型语言模型
G
KnutJaegersberg
196
2
Gemmax2 28 9B V0.1 Q2 K GGUF
GemmaX2-28-9B-v0.1-Q2_K-GGUF 是一个基于 ModelSpace/GemmaX2-28-9B-v0.1 转换而来的 GGUF 格式模型，支持多种语言的翻译任务。
大型语言模型
支持多种语言
G
Gemini
151
1
T3Q Qwen2.5 14b V1.0 E3 Q4 K M GGUF
Apache-2.0
这是一个基于Qwen2.5-14B-Instruct-1M的量化模型，转换为GGUF格式，适用于llama.cpp框架。
大型语言模型
支持多种语言
T
Sangto
1,126
4
Gemma 3 27b Pt Q4 K M GGUF
该模型是基于Google的gemma-3-27b-pt模型通过llama.cpp转换为GGUF格式的版本，适用于本地推理任务。
大型语言模型
G
deltanym
30
1
Gemma 3 12b It Q5 K S GGUF
这是Google Gemma 3B模型的GGUF量化版本，适用于本地推理，支持文本生成任务。
大型语言模型
G
NikolayKozloff
16
1
Gemma 3 27b It Q4 K M GGUF
该模型是基于Google的Gemma 3 27B IT模型转换而来的GGUF格式版本，适用于本地推理。
大型语言模型
G
paultimothymooney
299
2
Gemma 3 27b It GGUF
Gemma 3 27B 指令调优模型的 GGUF 量化版本，适用于文本生成任务。
大型语言模型
G
MaziyarPanahi
475.91k
4
Gemma 3 12b It GGUF
Gemma 3 12B 的 GGUF 量化版本，适用于文本生成任务。
大型语言模型
G
MaziyarPanahi
641.41k
4
Minicpm O 2 6 GGUF
MiniCPM-o-2_6 是一个多模态转换模型，支持多种语言，适用于多种任务。
文本生成图像
其他
M
second-state
506
6
Bge M3 Q8 0 GGUF
MIT
该模型是通过GGUF-my-repo从BAAI/bge-m3转换而来的GGUF格式模型，主要用于句子相似度计算和特征提取。
文本嵌入
B
tinybiggames
41
1
Bge Reranker V2 M3 Q8 0 GGUF
Apache-2.0
这是一个基于BAAI/bge-reranker-v2-m3模型转换的GGUF格式文本排序模型，支持多语言文本嵌入推理。
文本嵌入
其他
B
pqnet
54
0
Gte Large Zh GGUF
MIT
该模型是通过llama.cpp从thenlper/gte-large-zh转换而来的GGUF格式模型，主要用于中文文本嵌入和句子相似度计算。
文本嵌入
英语
G
linlueird
37
1
Heackmt5 ZhSum100k GGUF
基于mT5架构的中文摘要生成模型，提供多种量化版本
文本生成
中文
H
mradermacher
60
0
Qwen2.5 VL 3B Instruct MLX 8bits
这是一个基于Qwen2.5-VL-3B-Instruct模型的8位量化版本，专为MLX框架优化，支持图像文本生成任务。
图像生成文本
Transformers
英语
Q
moot20
27
1
Llava Llama3
LLaVA-Llama3是基于Llama-3的多模态模型，支持图像与文本的联合处理。
图像生成文本
L
chatpig
360
1
Nsfw Image Detection
用于检测图像是否包含不适宜工作场所（NSFW）内容的模型，支持网页端部署
图像分类
Transformers
N
jdp8
96
2