AIbase

GGUF高效推理
Gemma 2 9b It Russian Function Calling GGUF
Apache-2.0
该模型是基于google/gemma-2-9b-it针对函数调用任务进行微调的版本，训练数据完全由人工标注，使用了俄语版本的DiTy/function-calling数据集。
大型语言模型
其他
G
DiTy
509
23
3b De Ft Research Release Q4 K M GGUF
Apache-2.0
这是一个基于canopylabs/3b-de-ft-research_release模型转换而来的GGUF格式模型，专门优化用于德语文本处理。
大型语言模型
德语
3
TheVisitorX
16
0
3b Zh Ft Research Release Q4 K M GGUF
Apache-2.0
这是一个基于canopylabs/3b-zh-ft-research_release转换至GGUF格式的中文语言模型，适用于文本生成任务。
大型语言模型
中文
3
freddyaboulton
142
1
3b De Ft Research Release Q4 K M GGUF
Apache-2.0
这是一个基于canopylabs/3b-de-ft-research_release模型转换的GGUF格式德语语言模型，适用于文本生成任务。
大型语言模型
德语
3
freddyaboulton
200
0
Slim Orpheus 3b JAPANESE Ft Q4 K M GGUF
Apache-2.0
这是一个基于slim-orpheus-3b-JAPANESE-ft模型转换的GGUF格式模型，专门针对日语文本处理进行了优化。
大型语言模型
日语
S
Gapeleon
40
0
3b Es It Ft Research Release Q4 K M GGUF
Apache-2.0
这是一个基于canopylabs/3b-es_it-ft-research_release转换的GGUF格式模型，支持西班牙语和意大利语。
大型语言模型
支持多种语言
3
freddyaboulton
1,052
0
Llama 3 3 Nemotron Super 49B V1 Q6 K GGUF
其他
该模型是基于NVIDIA的Llama-3_3-Nemotron-Super-49B-v1转换而来的GGUF格式版本，适用于文本生成任务。
大型语言模型
英语
L
openfree
2,495
5
Qwen2.5 VL 72B Instruct GGUF
其他
Qwen2.5-VL-72B-Instruct是一个72B参数规模的多模态大模型，支持视觉-语言任务，能够理解和生成与图像相关的文本内容。
文本生成图像
英语
Q
Mungert
2,798
5
Qwen2.5 VL 32B Instruct GGUF
Apache-2.0
Qwen2.5-VL-32B-Instruct 是一个32B参数规模的多模态视觉语言模型，支持图像和文本的联合理解与生成任务。
图像生成文本
英语
Q
Mungert
9,766
6
Bge Reranker V2 M3 Q4 K M GGUF
Apache-2.0
本模型是基于BAAI/bge-reranker-v2-m3转换的GGUF格式模型，用于文本排序任务，支持多语言。
文本嵌入
其他
B
sabafallah
49
0
Llama 3.1 Nemotron Nano 8B V1 GGUF
其他
NVIDIA发布的8B参数规模的开源大语言模型，基于Llama-3架构，提供多种量化版本
大型语言模型
英语
L
tensorblock
1,048
4
Gemma 3 12b It Q6 K GGUF
这是Google Gemma 3B模型的GGUF量化版本，适用于本地部署和推理。
大型语言模型
G
NikolayKozloff
16
1
T5 Small Q4 K M GGUF
Apache-2.0
该模型是通过ggml.ai的GGUF-my-repo空间，使用llama.cpp从google-t5/t5-small转换至GGUF格式的量化版本。
机器翻译
支持多种语言
T
egrhfnfdg
25
0
Mistral 7B Business F16 GGUF
Apache-2.0
这是一个基于Mistral-7B的商业领域适配模型，转换为GGUF格式以便在llama.cpp中使用。
大型语言模型
英语
M
rafaelldietrich
31
1
Teuken 7B Instruct Research V0.4 Q6 K GGUF
其他
该模型是基于openGPT-X/Teuken-7B-instruct-research-v0.4转换的GGUF格式版本，支持多语言文本生成任务。
大型语言模型
支持多种语言
T
lukasfast
36
2
Noticia 7B GGUF
Apache-2.0
NoticIA-7B是一个基于西班牙语的新闻摘要生成模型，专注于处理新闻内容并生成摘要。
大型语言模型
西班牙语
N
mradermacher
105
1
Mental Health FineTuned Mistral 7B Instruct V0.2 I1 GGUF
Apache-2.0
这是一个基于Mistral-7B-Instruct-v0.2模型微调的心理健康咨询对话模型，提供了多种量化版本以适应不同需求。
大型语言模型
英语
M
mradermacher
501
3
Bge Reranker Large Q4 K M GGUF
MIT
该模型是基于BAAI/bge-reranker-large转换而来的GGUF格式模型，用于重排序任务，支持中英文。
文本嵌入
支持多种语言
B
DrRos
164
1
T5 Small Q8 0 GGUF
Apache-2.0
该模型是通过ggml.ai的GGUF-my-repo空间，使用llama.cpp从google-t5/t5-small转换为GGUF格式的量化版本。
机器翻译
支持多种语言
T
agkavin
27
1
Summllama3 8B Q3 K M GGUF
该模型是基于DISLab/SummLlama3-8B转换的GGUF格式模型，适用于文本摘要任务。
文本生成
S
dil99x
32
0
Bge Reranker V2 M3 Q4 K M GGUF
Apache-2.0
该模型是从BAAI/bge-reranker-v2-m3转换而来的GGUF格式模型，用于文本重排序任务，支持多语言。
文本嵌入
其他
B
puppyM
83
1
C4ai Command R 08 2024
这是一个基于CoForAI/c4ai-command-r-08-2024模型转换的GGUF格式文本生成模型，支持多种语言。
大型语言模型
支持多种语言
C
KimChen
22
2
Gguf Sharded LaMini Flan T5 248M
这是一个基于MBZUAI/LaMini-Flan-T5-248M模型转换的GGUF格式模型，适用于文本生成任务。
大型语言模型
英语
G
Felladrin
30
1
Llava Llama 3 8b V1 1 Q3 K S GGUF
该模型是基于xtuner/llava-llama-3-8b-v1_1转换的GGUF格式模型，支持图像和文本的多模态处理。
图像生成文本
L
djward888
17
1
Meta Llama 3 8B Instruct GGUF
其他
Meta-Llama-3-8B-Instruct的GGUF量化版本，适用于本地部署和推理
大型语言模型
英语
M
LiteLLMs
76
2
Wizardlm 2 8x22B GGUF
Apache-2.0
WizardLM-2-8x22B-GGUF是微软WizardLM-2-8x22B模型的GGUF格式量化版本，支持多种比特量化，适用于文本生成任务。
大型语言模型
W
MaziyarPanahi
9,720
127
Taiwan LLM 13B V2.0 Chat GGUF
Apache-2.0
基于LLaMa2-13b的台湾大语言模型，支持繁体中文，采用GGUF格式
大型语言模型
中文
T
audreyt
80
8
Tinyllama V0 GGUF
MIT
TinyLLama-v0 是一个轻量级语言模型，基于 GGUF 格式提供，适用于文本生成任务。
大型语言模型
英语
T
aladar
72
2
Pygmalion 2 13B SuperCOT Weighed GGUF
这是Pygmalion-2-13b与SuperCOT的加权融合实验模型，支持指令格式交互，适用于文本生成任务。
大型语言模型
英语
P
TheBloke
1,468
9