高效量化推理
Qwen3 4B GGUF
Apache-2.0
Qwen3是通义千问系列最新一代大语言模型,提供完整的稠密模型与混合专家(MoE)模型组合。
大型语言模型
英语
Q
prithivMLmods
829
1
Mistral Small 3.1 24B Instruct 2503 Q4 K M GGUF
Apache-2.0
这是一个基于mistralai/Mistral-Small-3.1-24B-Instruct-2503转换的GGUF格式模型,支持多语言文本生成任务。
大型语言模型
支持多种语言
M
PatataAliena
124
1
LGAI EXAONE EXAONE Deep 2.4B GGUF
其他
这是LGAI-EXAONE发布的EXAONE-Deep-2.4B模型的量化版本,使用llama.cpp进行量化,支持英语和韩语文本生成任务。
大型语言模型
支持多种语言
L
bartowski
304
1
Qwen2 VL 7B Instruct GGUF
Apache-2.0
基于Qwen2-VL-7B-Instruct的多模态模型量化版本,支持图像文本到文本任务,适用于多种量化级别。
图像生成文本
英语
Q
XelotX
201
1
Eurollm 9B Instruct GGUF
Apache-2.0
EuroLLM-9B-Instruct是一个多语言指令跟随大语言模型,支持40+种语言,特别优化了欧洲语言处理能力。
大型语言模型
支持多种语言
E
bartowski
901
13
T5 3b Q4 K M GGUF
Apache-2.0
该模型是通过ggml.ai的GGUF-my-repo空间,使用llama.cpp从google-t5/t5-3b转换至GGUF格式的量化版本。
机器翻译
支持多种语言
T
VVS2024
15
0
Wizardlm 2 7B Abliterated GGUF
Apache-2.0
这是使用llama.cpp对WizardLM-2-7B进行量化后的版本,基于正交化bfloat16 safetensor权重处理,支持多轮对话。
大型语言模型
W
QuantFactory
139
2
Deepseek V2 Lite Chat IMat GGUF
DeepSeek-V2-Lite-Chat 的 GGUF 量化版本,支持多种量化类型,适用于本地部署和推理。
大型语言模型
D
legraphista
1,413
12
Mixtral 8x7B Instruct V0.1 Offloading Demo
MIT
Mixtral 是一个支持多语言的文本生成模型,采用混合专家(MoE)架构,支持英语、法语、意大利语、德语和西班牙语。
大型语言模型
Transformers
支持多种语言
M
lavawolfiee
391
28