量化优化
Servicenow AI Apriel Nemotron 15b Thinker GGUF
MIT
这是一个由ServiceNow语言模型(SLAM)实验室构建的15B参数大语言模型,经过llama.cpp工具量化处理,适用于本地推理部署。
大型语言模型
S
bartowski
3,707
11
Gemma 2 9b It Abliterated GGUF
基于Gemma 2.9B的量化版本,使用llama.cpp进行优化,适合在LM Studio中运行。
大型语言模型
英语
G
bartowski
3,941
37
Illustrious XL V2.0 GGUF
Illustrious-XL-v2.0 是一个文本生成图像的基础模型,适用于多种图像生成任务。
图像生成
I
btaskel
365
3
Gemma 3 12B It Qat GGUF
Gemma 3 12B IT是由谷歌开发的大语言模型,支持多模态输入和长上下文处理。
图像生成文本
G
lmstudio-community
36.65k
4
Elastic Llama 3.1 8B Instruct
Apache-2.0
Meta-Llama-3.1-8B-Instruct 的弹性优化版本,提供不同速度与精度的模型变体,适合自部署场景。
大型语言模型
E
TheStageAI
125
3
Qwen Ai Research Qa Q4 K M.gguf
MIT
专为回答研究型人工智能问题设计的问答模型,采用Q4_K_M量化格式优化,在保持高质量响应的同时实现高效推理。
大型语言模型
英语
Q
InduwaraR
29
2
Llava 1.6 Mistral 7b Gguf
Apache-2.0
LLaVA是一个开源的多模态聊天机器人,通过在多模态指令跟随数据上微调LLM训练而成。
文本生成图像
L
cjpais
9,652
106
Multilingual E5 Small Optimized
MIT
这是multilingual-e5-small的量化版本,通过逐层量化优化了推理性能,同时保持了原始模型的大部分质量。
文本嵌入
支持多种语言
M
elastic
201
15