动态精度分配
Josiefied Qwen3 8B Abliterated V1 GGUF
基于Qwen3-8B的量化版本,采用IQ-DynamicGate超低位量化技术,优化内存效率和推理速度
大型语言模型
J
Mungert
559
1
Qwen3 30B A3B GGUF
Apache-2.0
Qwen3-30B-A3B是基于Qwen3-30B-A3B-Base的大语言模型,支持文本生成任务,采用超低位量化技术优化内存效率。
大型语言模型
Q
Mungert
2,135
1
Qwen3 14B GGUF
Apache-2.0
Qwen3-14B是基于Qwen/Qwen3-14B-Base生成的GGUF格式模型,支持文本生成任务,采用IQ-DynamicGate超低比特量化技术优化内存效率。
大型语言模型
Q
Mungert
1,597
6
GLM Z1 9B 0414 GGUF
MIT
GLM-Z1-9B-0414 是一个支持中英双语的文本生成模型,采用 GGUF 格式,适用于多种量化级别,从 BF16 到超低位量化(1-2 比特)。
大型语言模型
支持多种语言
G
Mungert
1,598
3
Olympiccoder 7B GGUF
Apache-2.0
OlympicCoder-7B是基于Qwen2.5-Coder-7B-Instruct优化的代码生成模型,采用IQ-DynamicGate超低比特量化技术,专为内存受限环境设计。
大型语言模型
英语
O
Mungert
849
3
Granite 3.3 8b Instruct GGUF
Apache-2.0
采用IQ-DynamicGate技术的超低位量化(1-2比特)语言模型,适用于内存受限环境
大型语言模型
G
Mungert
759
2
Qwq 32B GGUF
Apache-2.0
采用IQ-DynamicGate技术的超低位量化(1-2比特)大语言模型,支持多语言文本生成任务
大型语言模型
英语
Q
Mungert
5,770
17
Orpheus 3b 0.1 Ft GGUF
Apache-2.0
基于Llama-3-8B架构优化的超低比特量化模型,采用IQ-DynamicGate技术实现1-2比特精度自适应量化,适用于内存受限环境。
大型语言模型
英语
O
Mungert
1,427
1
Llama 3.1 70B Instruct GGUF
基于Llama-3.1-70B的超低位量化(1-2位)模型,采用IQ-DynamicGate技术实现精度自适应量化,在保持内存效率的同时提升准确性。
大型语言模型
支持多种语言
L
Mungert
19.52k
3
Olympiccoder 32B GGUF
Apache-2.0
OlympicCoder-32B是基于Qwen2.5-Coder-32B-Instruct的代码生成模型,采用IQ-DynamicGate超低位量化技术,适用于内存受限环境下的高效推理。
大型语言模型
英语
O
Mungert
361
3
Qwen2.5 VL 7B Instruct GGUF
Apache-2.0
Qwen2.5-VL-7B-Instruct 是一个多模态视觉语言模型,支持图像理解和文本生成任务。
图像生成文本
英语
Q
Mungert
17.10k
10
Gemma 3 27b It GGUF
Gemma 3 27B参数的GGUF量化版本,支持图像文本交互任务
文本生成图像
G
Mungert
4,034
6
EXAONE Deep 32B GGUF
其他
EXAONE-Deep-32B是一个32B参数的大语言模型,支持英语和韩语,专为文本生成任务设计。
大型语言模型
支持多种语言
E
Mungert
2,249
3
Llama 3.1 Nemotron Nano 8B V1 GGUF
其他
基于Llama-3架构的8B参数模型,采用IQ-DynamicGate超低比特量化技术优化内存使用
大型语言模型
英语
L
Mungert
2,088
4
EXAONE Deep 7.8B GGUF
其他
采用IQ-DynamicGate技术的超低位量化(1-2比特)的7.8B参数模型,支持英语和韩语文本生成任务。
大型语言模型
支持多种语言
E
Mungert
1,791
5
Llama 3.1 8B Instruct GGUF
Llama-3.1-8B-Instruct 是基于 Llama-3-8B 的指令调优版本,采用 IQ-DynamicGate 技术进行超低位量化(1-2 比特),在保持内存效率的同时提升准确性。
大型语言模型
支持多种语言
L
Mungert
1,073
3
Mistral 7B Instruct V0.2 GGUF
Apache-2.0
Mistral-7B-Instruct-v0.2是基于Mistral-7B架构的指令微调模型,支持文本生成任务,采用IQ-DynamicGate超低比特量化技术优化内存效率。
大型语言模型
M
Mungert
742
2