超低位量化
Josiefied Qwen3 8B Abliterated V1 GGUF
基于Qwen3-8B的量化版本,采用IQ-DynamicGate超低位量化技术,优化内存效率和推理速度
大型语言模型
J
Mungert
559
1
Qwen3 30B A3B GGUF
Apache-2.0
Qwen3-30B-A3B是基于Qwen3-30B-A3B-Base的大语言模型,支持文本生成任务,采用超低位量化技术优化内存效率。
大型语言模型
Q
Mungert
2,135
1
GLM Z1 9B 0414 GGUF
MIT
GLM-Z1-9B-0414 是一个支持中英双语的文本生成模型,采用 GGUF 格式,适用于多种量化级别,从 BF16 到超低位量化(1-2 比特)。
大型语言模型
支持多种语言
G
Mungert
1,598
3
Qwen2.5 3B Instruct GGUF
其他
采用IQ-DynamicGate技术的超低位量化(1-2位)模型,适用于内存受限设备和高效推理场景
大型语言模型
英语
Q
Mungert
704
4
Llama 3.2 3B Instruct GGUF
Llama-3.2-3B-Instruct GGUF是Meta发布的3B参数规模的大语言模型,采用IQ-DynamicGate技术进行超低位量化(1-2位),在保持内存效率的同时优化推理性能。
大型语言模型
支持多种语言
L
Mungert
656
3
Granite 3.3 8b Instruct GGUF
Apache-2.0
采用IQ-DynamicGate技术的超低位量化(1-2比特)语言模型,适用于内存受限环境
大型语言模型
G
Mungert
759
2
Deepcoder 14B Preview GGUF
MIT
采用IQ-DynamicGate技术的超低位量化(1-2比特)模型,适用于内存受限设备和边缘计算场景
大型语言模型
英语
D
Mungert
1,764
6
Qwq 32B GGUF
Apache-2.0
采用IQ-DynamicGate技术的超低位量化(1-2比特)大语言模型,支持多语言文本生成任务
大型语言模型
英语
Q
Mungert
5,770
17
Llama 3.1 70B Instruct GGUF
基于Llama-3.1-70B的超低位量化(1-2位)模型,采用IQ-DynamicGate技术实现精度自适应量化,在保持内存效率的同时提升准确性。
大型语言模型
支持多种语言
L
Mungert
19.52k
3
Olympiccoder 32B GGUF
Apache-2.0
OlympicCoder-32B是基于Qwen2.5-Coder-32B-Instruct的代码生成模型,采用IQ-DynamicGate超低位量化技术,适用于内存受限环境下的高效推理。
大型语言模型
英语
O
Mungert
361
3
Llama 3 3 Nemotron Super 49B V1 GGUF
其他
采用IQ-DynamicGate超低位量化技术的49B参数大语言模型,支持1-2位精度自适应量化,优化内存效率与推理速度
大型语言模型
英语
L
Mungert
434
4
Qwen2.5 VL 3B Instruct GGUF
Qwen2.5-VL-3B-Instruct是一个3B参数规模的多模态模型,支持图文生成任务,特别优化了在llama.cpp中的视觉功能支持。
文本生成图像
英语
Q
Mungert
10.44k
8
Gemma 3 27b It GGUF
Gemma 3 27B参数的GGUF量化版本,支持图像文本交互任务
文本生成图像
G
Mungert
4,034
6
EXAONE Deep 32B GGUF
其他
EXAONE-Deep-32B是一个32B参数的大语言模型,支持英语和韩语,专为文本生成任务设计。
大型语言模型
支持多种语言
E
Mungert
2,249
3
EXAONE Deep 7.8B GGUF
其他
采用IQ-DynamicGate技术的超低位量化(1-2比特)的7.8B参数模型,支持英语和韩语文本生成任务。
大型语言模型
支持多种语言
E
Mungert
1,791
5
Qwen2.5 7B Instruct 1M GGUF
Apache-2.0
Qwen2.5-7B-Instruct-1M是基于Qwen2.5-7B的指令微调版本,采用IQ-DynamicGate超低位量化技术(1-2比特),适用于内存受限环境下的高效推理。
大型语言模型
英语
Q
Mungert
1,342
4
Meta Llama 3 8B Instruct GGUF
基于Llama-3-8B-Instruct的IQ-DynamicGate超低位量化(1-2比特)模型,采用精度自适应量化技术,在保持极致内存效率的同时提升推理精度。
大型语言模型
英语
M
Mungert
1,343
3
Llama 3.1 8B Instruct GGUF
Llama-3.1-8B-Instruct 是基于 Llama-3-8B 的指令调优版本,采用 IQ-DynamicGate 技术进行超低位量化(1-2 比特),在保持内存效率的同时提升准确性。
大型语言模型
支持多种语言
L
Mungert
1,073
3