AIbase

内存高效推理
Phi 2 GGUF
MIT
phi-2 是一个采用 IQ-DynamicGate 超低比特量化（1-2 比特）的文本生成模型，适用于自然语言处理和代码生成任务。
大型语言模型
支持多种语言
P
Mungert
472
2
Granite 3.3 8b Instruct GGUF
Apache-2.0
采用IQ-DynamicGate技术的超低位量化(1-2比特)语言模型，适用于内存受限环境
大型语言模型
G
Mungert
759
2
Qwq 32B GGUF
Apache-2.0
采用IQ-DynamicGate技术的超低位量化（1-2比特）大语言模型，支持多语言文本生成任务
大型语言模型
英语
Q
Mungert
5,770
17
Olympiccoder 32B GGUF
Apache-2.0
OlympicCoder-32B是基于Qwen2.5-Coder-32B-Instruct的代码生成模型，采用IQ-DynamicGate超低位量化技术，适用于内存受限环境下的高效推理。
大型语言模型
英语
O
Mungert
361
3
EXAONE Deep 32B GGUF
其他
EXAONE-Deep-32B是一个32B参数的大语言模型，支持英语和韩语，专为文本生成任务设计。
大型语言模型
支持多种语言
E
Mungert
2,249
3
EXAONE Deep 7.8B GGUF
其他
采用IQ-DynamicGate技术的超低位量化（1-2比特）的7.8B参数模型，支持英语和韩语文本生成任务。
大型语言模型
支持多种语言
E
Mungert
1,791
5
Qwen2.5 14B Instruct 1M GGUF
Apache-2.0
Qwen2.5-14B-Instruct-1M 是一个基于 Qwen2.5-14B 的指令微调模型，支持文本生成任务，适用于聊天场景。
大型语言模型
英语
Q
Mungert
1,600
3