Qwen2 Audio 7B Instruct I1 GGUF
Apache-2.0
Qwen2-Audio-7B-Instruct的加权/矩阵量化模型,支持英文音频文本转文本任务
文本生成音频
Transformers

英语
Q
mradermacher
282
0
Deepseek R1 0528 4bit
DeepSeek-R1-0528-4bit 是一个基于 DeepSeek-R1-0528 转换而来的 4 位量化模型,专为 MLX 框架优化。
大型语言模型
D
mlx-community
157
9
Dmindai.dmind 1 GGUF
DMind-1 是一个文本生成基础模型,致力于让知识自由传播。
大型语言模型
D
DevQuasar
226
1
Dmindai.dmind 1 Mini GGUF
DMind-1-mini 是一个轻量级的文本生成模型,适用于多种自然语言处理任务。
文本生成
D
DevQuasar
213
1
Devstral Small 2505 GGUF
Apache-2.0
Devstral-Small-2505的量化版本,提供多种精度选择以适应不同硬件需求
大型语言模型
支持多种语言
D
Antigma
170
1
Google.medgemma 27b Text It GGUF
MedGemma-27B-Text-IT 是 Google 开发的一个大型语言模型,专注于医疗领域的文本生成任务。
大型语言模型
G
DevQuasar
593
1
Devstral Small 2505 MLX 4bit
Apache-2.0
由mistralai开发的Devstral-Small-2505模型,经过MLX 4位量化优化,适用于Apple Silicon设备。
大型语言模型
支持多种语言
D
lmstudio-community
57.83k
3
Facebook KernelLLM GGUF
其他
KernelLLM是Facebook开发的大语言模型,此版本为使用llama.cpp工具进行imatrix量化的版本,提供多种量化选项以适应不同硬件需求。
大型语言模型
F
bartowski
5,151
2
A M Team AM Thinking V1 GGUF
Apache-2.0
基于a-m-team/AM-Thinking-v1模型的Llamacpp imatrix量化版本,支持多种量化类型,适用于文本生成任务。
大型语言模型
A
bartowski
671
1
Vintern 1B V3 5 GGUF Ext
MIT
Vintern-1B-v3_5是一个10亿参数的视觉语言模型,支持图像文本生成任务。
文本生成图像
V
rootonchair
242
1
Sam Reason S2.1 GGUF
MIT
Sam-reason-S2.1的静态量化版本,提供多种量化选项以适应不同硬件需求
大型语言模型
英语
S
mradermacher
299
1
Tngtech.deepseek R1T Chimera GGUF
DeepSeek-R1T-Chimera 是一个文本生成模型,基于 tngtech 的技术开发,专注于高效的自然语言处理任务。
大型语言模型
T
DevQuasar
1,407
2
Thedrummer Snowpiercer 15B V1 GGUF
MIT
基于TheDrummer/Snowpiercer-15B-v1模型的量化版本,使用llama.cpp进行量化,适用于文本生成任务。
大型语言模型
T
bartowski
4,783
1
Mellum 4b Sft Rust GGUF
Apache-2.0
专为Rust代码中间填充(FIM)任务微调的大语言模型,基于JetBrains/Mellum-4b-base构建
大型语言模型
支持多种语言
M
Etherll
389
1
Ling Lite 1.5
MIT
灵曦是由InclusionAI开源的大规模混合专家语言模型,精简版拥有168亿总参数与27.5亿激活参数,展现出卓越性能表现。
大型语言模型
Transformers

L
inclusionAI
46
3
Apriel Nemotron 15b Thinker
MIT
ServiceNow推出的150亿参数高效推理模型,内存占用仅为同类先进模型的一半
大型语言模型
Transformers

A
ServiceNow-AI
1,252
86
Qwen3 30B A3B 4bit DWQ
Apache-2.0
这是一个基于Qwen3-30B-A3B模型的4位量化版本,通过从6位量化蒸馏至4位定制的DWQ量化技术制作,适用于文本生成任务。
大型语言模型
Q
mlx-community
561
19
Qwen3 30B A3B FP8 Dynamic
Apache-2.0
Qwen3-30B-A3B-FP8-dynamic是基于Qwen3-30B-A3B模型通过FP8量化优化的版本,显著降低了内存需求和计算成本,同时保持了原始模型的高准确率。
大型语言模型
Transformers

Q
RedHatAI
187
2
Qwen3 8B AWQ
Apache-2.0
Qwen3-8B-AWQ是通义千问系列最新一代8.2B参数的大语言模型,采用AWQ 4-bit量化技术优化推理效率。
大型语言模型
Transformers

Q
Qwen
13.99k
2
Qwen3 8B FP8 Dynamic
Apache-2.0
Qwen3-8B-FP8-dynamic是基于Qwen3-8B模型通过FP8量化优化的版本,显著降低了GPU内存需求和磁盘空间占用,同时保持了原始模型的性能。
大型语言模型
Transformers

Q
RedHatAI
81
1
Falcon H1 3B Base
其他
猎鹰H1是由阿联酋技术创新研究院开发的混合架构语言模型,结合Transformer与Mamba架构,支持多语言处理
大型语言模型
Transformers

支持多种语言
F
tiiuae
334
3
Qwen3 4B GGUF
Apache-2.0
Qwen3-4B是基于Qwen3-4B-Base的GGUF格式模型,适用于文本生成任务。
大型语言模型
Q
Mungert
1,507
7
Mimo 7B RL
MIT
MiMo-7B-RL是基于MiMo-7B-SFT模型训练的强化学习模型,在数学与代码推理任务上表现出色,性能媲美OpenAI o1-mini。
大型语言模型
Transformers

M
XiaomiMiMo
11.79k
252
Industry Project V2
Apache-2.0
基于Mistral架构优化的指令微调模型,适用于零样本分类任务
大型语言模型
I
omsh97
58
0
Qwen3 8B GGUF
MIT
ZeroWw是一个经过量化的文本生成模型,输出和嵌入张量使用f16格式,其余张量使用q5_k或q6_k格式,体积更小且性能与纯f16相当。
大型语言模型
英语
Q
ZeroWw
236
1
Qwen3 4B GGUF
MIT
一个经过量化的文本生成模型,输出和嵌入张量采用f16格式,其余张量采用q5_k或q6_k量化,体积更小且性能与纯f16版本持平。
大型语言模型
英语
Q
ZeroWw
495
2
Qwen Qwen3 4B GGUF
Qwen团队提供的Qwen3-4B的Llamacpp imatrix量化版本,支持多种量化类型,适用于文本生成任务。
大型语言模型
Q
bartowski
10.58k
9
Meta Llama 3.1 8B Instruct Quantized.w8a8
这是Meta-Llama-3.1-8B-Instruct模型的INT8量化版本,通过权重量化和激活量化优化,适用于多语言商业和研究用途。
大型语言模型
Transformers

支持多种语言
M
RedHatAI
9,087
16
GLM Z1 32B 0414 4bit
MIT
该模型是基于THUDM/GLM-Z1-32B-0414转换的4位量化版本,适用于文本生成任务。
大型语言模型
支持多种语言
G
mlx-community
225
2
Alibaba Pai.distilqwen2.5 DS3 0324 32B GGUF
阿里巴巴PAI发布的轻量化版本Qwen2.5大语言模型,专注于高效文本生成任务
大型语言模型
A
DevQuasar
1,117
4
Deepthink 1.5B Open PRM Q8 0 GGUF
Apache-2.0
Deepthink-1.5B-Open-PRM是一个1.5B参数的开源语言模型,已转换为GGUF格式以便在llama.cpp中使用。
大型语言模型
英语
D
prithivMLmods
46
2
Mistral Community Pixtral 12b GGUF
Apache-2.0
这是pixtral-12b模型的量化版本,使用llama.cpp进行量化,支持图像文本到文本的任务。
图像文本到文本
M
bartowski
1,728
4
Bge Multilingual Gemma2 GPTQ
Apache-2.0
这是BAAI/bge-multilingual-gemma2模型的4位GPTQ量化版本,支持多语言文本嵌入任务。
文本嵌入
Transformers

B
shuyuej
34
5
Smolvlm2 2.2B Instruct GGUF
Apache-2.0
SmolVLM2-2.2B-Instruct 是一个2.2B参数量的视觉语言模型,专注于视频文本转文本任务,支持英语。
文本生成文本
英语
S
mradermacher
235
0
Gemma 3 27b It Qat GGUF
Gemma 3是Google基于Gemini技术构建的轻量级开放模型系列,支持多模态输入和文本输出,具有128K大上下文窗口和140+语言支持。
文本生成图像
英语
G
unsloth
2,683
3
OPENCLIP SigLIP Tiny 14 Distill SigLIP 400m Cc9m
MIT
一个基于SigLIP架构的轻量级视觉语言模型,通过蒸馏技术从更大的SigLIP-400m模型中提取知识,适用于零样本图像分类任务。
图像分类
O
PumeTu
30
0
GLM 4 32B 0414 EXL3
Apache-2.0
GLM-4-32B-0414是THUDM团队开发的大规模语言模型,基于GLM架构,适用于多种文本生成任务。
大型语言模型
G
owentruong
36
2
Deepseek R1 Quantized.w4a16
MIT
DeepSeek-R1的INT4权重量化版本,通过减少权重位数降低GPU内存和磁盘空间需求约50%,保持原始模型性能。
大型语言模型
Safetensors
D
RedHatAI
119
4
Falcon E 3B Base
其他
Falcon-E是由TII开发的1.58比特量化语言模型,采用纯Transformer架构,专为高效推理设计
大型语言模型
Transformers

F
tiiuae
51
6
Hidream I1 Full Gguf
MIT
HiDream-I1-Full是一个基于GGUF格式的文本到图像生成模型,适用于图像生成任务。
图像生成
英语
H
city96
43.94k
38
- 1
- 2
- 3
- 4
- 5
- 6
- 9
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers

支持多种语言
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers

英语
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统
中文
R
uer
2,694
98
AIbase是一个专注于MCP服务的平台,为AI开发者提供高质量的模型上下文协议服务,助力AI应用开发。
简体中文