本地化部署
Qwen3 235B A22B Mixed 3 6bit
Apache-2.0
这是一个基于Qwen/Qwen3-235B-A22B模型转换而来的混合3-6位量化版本,适用于苹果MLX框架的高效推理。
大型语言模型
Q
mlx-community
100
2
Foundation Sec 8B Instruct
Apache-2.0
Foundation-Sec-8B是一个开源的80亿参数基础语言模型,专为网络安全应用设计,扩展了Llama-3.1-8B模型。
大型语言模型
Transformers
英语
F
2p8xx
255
3
Qwen3 8B Q4 K M GGUF
Apache-2.0
这是Qwen3-8B模型的GGUF格式版本,适用于llama.cpp框架,支持文本生成任务。
大型语言模型
Transformers
Q
ufoym
342
3
Qwen3 30B A3B GGUF
Qwen3-30B-A3B的GGUF量化版本,支持多种比特量化,适用于文本生成任务。
大型语言模型
Q
MaziyarPanahi
158.92k
3
Qwen Qwen3 8B GGUF
Apache-2.0
Qwen3-8B的GGUF格式量化版本,由TensorBlock提供,兼容llama.cpp
大型语言模型
Q
tensorblock
452
1
Qwen3 0.6B GGUF
Qwen3-0.6B的GGUF量化版本,适用于文本生成任务。
大型语言模型
Q
MaziyarPanahi
233.95k
2
Qwen Qwen3 8B GGUF
Apache-2.0
Qwen3-8B的量化版本,使用llama.cpp的imatrix选项进行量化,适用于文本生成任务。
大型语言模型
Q
bartowski
23.88k
18
Oute TTS 500M
Apache-2.0
OuteTTS是一个专注于土耳其语的文本转语音(TTS)模型,基于500M参数规模,能够将土耳其语文本转换为自然语音。
语音合成
其他
O
Karayakar
27
0
Medra4b LORA
Apache-2.0
Medra是一款专为临床推理、教育和对话建模设计的轻量级医学语言模型,基于Gemma 3构建,适用于本地和移动端环境。
大型语言模型
Safetensors
支持多种语言
M
drwlf
53
1
Deepseek R1 GGUF UD
MIT
DeepSeek-R1 是一个高效的大语言模型,采用了 Unsloth Dynamic v2.0 量化技术,实现了卓越的准确性。
大型语言模型
英语
D
unsloth
3,149
11
3b Zh Ft Research Release Q8 0 GGUF
Apache-2.0
本模型是基于canopylabs/3b-zh-ft-research_release转换而来的GGUF格式模型,适用于中文文本生成任务。
大型语言模型
中文
3
cludyw
20
0
Barcenas 4b
基于google/gemma-3-4b-it模型训练的多模态模型,专注于数学、编程、科学和解谜领域的高质量数据处理。
图像生成文本
Transformers
英语
B
Danielbrdz
15
2
3b Ko Ft Research Release Q4 K M GGUF
Apache-2.0
这是一个基于韩语优化的3B参数规模的语言模型,转换为GGUF格式以便与llama.cpp兼容使用。
大型语言模型
韩语
3
freddyaboulton
165
0
Orpheus 3b 0.1 Ft Q8 0 GGUF
Apache-2.0
该模型是基于canopylabs/orpheus-3b-0.1-ft转换而来的GGUF格式模型,适用于文本生成任务。
大型语言模型
英语
O
dodgeinmedia
22
0
Gemma 3 4b It GGUF
该模型是通过llama.cpp从google/gemma-3-4b-it转换为GGUF格式的,适用于本地部署和推理。
大型语言模型
G
ysn-rfd
62
1
Deepseek V3 0324 GGUF
MIT
DeepSeek-V3-0324的GGUF量化版本,适用于本地文本生成任务。
大型语言模型
D
MaziyarPanahi
97.25k
19
Mistral Small 3.1 24b Instruct 2503 Hf GGUF
这是一个基于mrfakename/mistral-small-3.1-24b-instruct-2503-hf模型的GGUF格式量化版本,适用于文本生成任务。
大型语言模型
M
MaziyarPanahi
137.78k
2
Gemma 3 4b Pt Q4 0 GGUF
这是一个基于Google Gemma 3.4B参数模型转换的GGUF格式模型,适用于文本生成任务。
大型语言模型
G
ngxson
74
1
Gemma 3 4b It Q4 K M GGUF
Gemma 3.4B IT 是由 Google 开发的开源大语言模型,此版本为通过 llama.cpp 转换为 GGUF 格式的 4-bit 量化版本。
大型语言模型
G
DravenBlack
186
1
Gemma 3 12b It Q8 0 GGUF
该模型是从google/gemma-3-12b-it转换而来的GGUF格式模型,适用于llama.cpp框架。
大型语言模型
G
NikolayKozloff
89
1
Qwq 32B GGUF
QwQ-32B的GGUF格式量化版本,适用于本地文本生成任务。
大型语言模型
Q
MaziyarPanahi
459.38k
3
Qwen2 VL 7B Captioner Relaxed GGUF
Apache-2.0
该模型是基于Qwen2-VL-7B-Captioner-Relaxed转换的GGUF格式版本,专为图像转文本任务优化,支持通过llama.cpp和Koboldcpp等工具运行。
图像生成文本
英语
Q
r3b31
321
1
Mistral Small 24B Instruct 2501 GGUF
Mistral-Small-24B-Instruct-2501的GGUF量化版本,适用于本地部署和文本生成任务。
大型语言模型
M
MaziyarPanahi
474.73k
2
Llama 3.1 0x Mini Q8 0 GGUF
这是一个基于ozone-ai/llama-3.1-0x-mini转换的GGUF格式模型,适用于llama.cpp框架。
大型语言模型
L
NikolayKozloff
19
1
MMS TTS THAI FEMALEV1
这是一个泰语女性语音文本转语音(TTS)模型,基于VITS架构微调,支持高质量的泰语语音合成。
语音合成
Safetensors
其他
M
VIZINTZOR
81
2
Indri 0.1 124m Tts GGUF
Indri是一个支持英语和印地语的文本转语音(TTS)模型,参数规模为124M,采用GGUF格式优化CPU推理。
语音合成
支持多种语言
I
11mlabs
86
0
Llama 2 7b Chat Hf Q4 K M GGUF
Meta发布的Llama 2系列7B参数聊天模型GGUF量化版本,适用于本地部署和推理
大型语言模型
英语
L
matrixportal
220
4
Gte Qwen2 7B Instruct GGUF
Apache-2.0
由阿里巴巴NLP团队开发的大语言模型,基于Qwen2架构的7B参数版本,支持指令交互
大型语言模型
G
tensorblock
1,502
11
Bielik 11B V2.3 Instruct GGUF
Apache-2.0
这是SpeakLeash开发的波兰语大语言模型Bielik-11B-v2.3-Instruct的GGUF量化版本,适用于本地部署和使用。
大型语言模型
Transformers
B
speakleash
2,203
29
Yi Coder 1.5B Chat GGUF
Yi-Coder-1.5B-Chat-GGUF 是 01-ai/Yi-Coder-1.5B-Chat 的 GGUF 格式模型文件,适用于文本生成任务。
大型语言模型
Y
MaziyarPanahi
254.78k
10
Prem 1B SQL
Apache-2.0
Prem-1B-SQL是Prem AI开发的10亿参数文本转SQL模型,专为本地化部署设计,支持低配GPU和CPU设备运行。
大型语言模型
Safetensors
英语
P
premai-io
521
35
Mlx Stable Diffusion 3 Medium
其他
基于Stable Diffusion 3 Medium的MLX实现,专注于文本到图像生成
图像生成
英语
M
argmaxinc
238
2
Phi 3 Mini 4k Instruct Q4 K M GGUF
MIT
该模型是通过ggml.ai的GGUF-my-repo空间,使用llama.cpp从microsoft/Phi-3-mini-4k-instruct转换而来的GGUF格式模型。
大型语言模型
支持多种语言
P
matrixportal
67
3
Gguf Sharded LaMini Flan T5 248M
这是一个基于MBZUAI/LaMini-Flan-T5-248M模型转换的GGUF格式模型,适用于文本生成任务。
大型语言模型
英语
G
Felladrin
30
1
Qwen2 7B Instruct GGUF
Qwen2-7B-Instruct的GGUF量化版本,适用于本地部署和推理
大型语言模型
Q
MaziyarPanahi
1.5M
11
Llama 2 7b Ukrainian Q8 0 GGUF
这是一个基于Llama-2-7b架构的乌克兰语和英语语言模型,已转换为GGUF格式,适用于llama.cpp框架。
大型语言模型
支持多种语言
L
NikolayKozloff
18
2
Vecteus V1 Gguf
Apache-2.0
Vecteus-v1的GGUF格式版本,支持英文和日文文本生成
大型语言模型
支持多种语言
V
Local-Novel-LLM-project
588
8
Llama 3 8B Instruct 64k GGUF
Llama-3-8B-Instruct-64k的GGUF量化版本,支持多种比特量化,适用于文本生成任务。
大型语言模型
L
MaziyarPanahi
201.57k
13
Llama 3 8B Instruct 32k V0.1 GGUF
Llama-3-8B-Instruct-32k-v0.1的GGUF量化版本,支持多种比特量化,适用于文本生成任务。
大型语言模型
L
MaziyarPanahi
226.09k
57
Distil Whisper Large V3 German
Apache-2.0
基于distil-whisper技术的德语语音识别模型,参数量7.56亿,在保持高质量的同时实现更快的推理速度。
语音识别
Transformers
德语
D
primeline
207
15