# 高效量化部署

Mistralai Mistral Small 3.2 24B Instruct 2506 GGUF
Apache-2.0
这是Mistral-Small-3.2-24B-Instruct-2506模型的Llamacpp imatrix量化版本,提供多种量化类型以满足不同硬件需求。
大型语言模型 支持多种语言
M
bartowski
3,769
12
Mistralai Devstral Small 2505 GGUF
Apache-2.0
Devstral-Small-2505的量化版本,支持多语言文本生成任务,适用于本地部署和推理。
大型语言模型 支持多种语言
M
bartowski
4,817
10
Seed Coder 8B Reasoning Bf16 Q6 K GGUF
MIT
这是一个基于ByteDance-Seed/Seed-Coder-8B-Reasoning-bf16转换的GGUF格式模型,适用于代码生成和推理任务。
大型语言模型
S
GrimsenClory
100
1
Nvidia OpenMath Nemotron 14B Kaggle GGUF
这是NVIDIA开源的14B参数数学大语言模型,经过llama.cpp量化处理,可在不同硬件条件下高效运行。
大型语言模型 英语
N
bartowski
432
1
Meta Llama 3.1 8B GGUF
Meta-Llama-3.1-8B的GGUF量化版本,基于llama.cpp工具生成,支持多语言文本生成任务。
大型语言模型 支持多种语言
M
fedric95
253
3
Llama 4 Scout 17B 16E Instruct GGUF
其他
Llama-4-Scout-17B-16E-Instruct-GGUF是一款基于Llama-4-Scout-17B-16E-Instruct模型的量化版本,支持多语言处理,适用于聊天和指令任务。
大型语言模型 Transformers 支持多种语言
L
gaianet
2,263
0
Meta Llama Llama 4 Scout 17B 16E Instruct Old GGUF
其他
Llama-4-Scout-17B-16E-Instruct是Meta发布的17B参数指令微调大语言模型,经过量化处理以提高运行效率
大型语言模型 支持多种语言
M
bartowski
3,142
30
Minicpm O 2 6 Gguf
MiniCPM-o 2.6是一个多模态模型,支持视觉和语言任务,专为llama.cpp设计。
图像生成文本
M
openbmb
5,660
101
Dolphin3.0 Llama3.2 1B GGUF
基于Llama3.2架构的1B参数量化模型,支持文本生成任务,适用于多种量化版本选择
大型语言模型 英语
D
bartowski
1,134
4
Qwen2 VL 7B GGUF
Apache-2.0
Qwen2-VL-7B 是一个视觉语言模型,提供多种量化版本的 GGUF 格式模型文件,适用于 llama.cpp 使用。
文本生成图像 Transformers 英语
Q
tensorblock
108
1
Mixtral 8x22B Instruct V0.1 GGUF
Apache-2.0
基于mistralai/Mixtral-8x22B-Instruct-v0.1模型的GGUF量化版本,支持多语言文本生成任务
大型语言模型 支持多种语言
M
MaziyarPanahi
1,333
33
AIbase
智启未来,您的人工智能解决方案智库
简体中文