精度自适应
Qwen2.5 7B Instruct GGUF
Apache-2.0
Qwen2.5-7B-Instruct是基于Qwen2.5-7B的指令微调模型,支持文本生成任务,特别优化了聊天场景下的表现。
大型语言模型
英语
Q
Mungert
706
4
Qwen2.5 3B Instruct GGUF
其他
采用IQ-DynamicGate技术的超低位量化(1-2位)模型,适用于内存受限设备和高效推理场景
大型语言模型
英语
Q
Mungert
704
4
Llama 3.2 3B Instruct GGUF
Llama-3.2-3B-Instruct GGUF是Meta发布的3B参数规模的大语言模型,采用IQ-DynamicGate技术进行超低位量化(1-2位),在保持内存效率的同时优化推理性能。
大型语言模型
支持多种语言
L
Mungert
656
3
Phi 2 GGUF
MIT
phi-2 是一个采用 IQ-DynamicGate 超低比特量化(1-2 比特)的文本生成模型,适用于自然语言处理和代码生成任务。
大型语言模型
支持多种语言
P
Mungert
472
2
GLM Z1 32B 0414 GGUF
MIT
GLM-Z1-32B-0414是一个32B参数规模的多语言文本生成模型,支持中文和英文,采用MIT许可证发布。
大型语言模型
支持多种语言
G
Mungert
994
3
Deepcoder 14B Preview GGUF
MIT
采用IQ-DynamicGate技术的超低位量化(1-2比特)模型,适用于内存受限设备和边缘计算场景
大型语言模型
英语
D
Mungert
1,764
6
Llama 3.1 Nemotron 70B Instruct HF GGUF
基于Meta Llama-3.1-70B-Instruct微调的模型,采用NVIDIA HelpSteer2数据集优化,支持文本生成任务。
大型语言模型
英语
L
Mungert
1,434
3
Olmo 2 0325 32B Instruct GGUF
Apache-2.0
基于OLMo-2-0325-32B-DPO的指令微调模型,采用IQ-DynamicGate超低比特量化技术,专为内存受限环境优化。
大型语言模型
英语
O
Mungert
15.57k
2
Llama 3 3 Nemotron Super 49B V1 GGUF
其他
采用IQ-DynamicGate超低位量化技术的49B参数大语言模型,支持1-2位精度自适应量化,优化内存效率与推理速度
大型语言模型
英语
L
Mungert
434
4
Granite 3.2 8b Instruct GGUF
Apache-2.0
IBM Granite系列8B参数指令微调语言模型,采用IQ-DynamicGate超低比特量化技术,适用于高效推理场景
大型语言模型
G
Mungert
1,048
2
Mistral Small 3.1 24B Instruct 2503 GGUF
Apache-2.0
这是一个基于 Mistral-Small-3.1-24B-Base-2503 的指令微调模型,采用 GGUF 格式和 IQ-DynamicGate 超低比特量化技术。
大型语言模型
支持多种语言
M
Mungert
10.01k
7
Qwen2.5 7B Instruct 1M GGUF
Apache-2.0
Qwen2.5-7B-Instruct-1M是基于Qwen2.5-7B的指令微调版本,采用IQ-DynamicGate超低位量化技术(1-2比特),适用于内存受限环境下的高效推理。
大型语言模型
英语
Q
Mungert
1,342
4
Qwen2.5 14B Instruct 1M GGUF
Apache-2.0
Qwen2.5-14B-Instruct-1M 是一个基于 Qwen2.5-14B 的指令微调模型,支持文本生成任务,适用于聊天场景。
大型语言模型
英语
Q
Mungert
1,600
3
Meta Llama 3 8B Instruct GGUF
基于Llama-3-8B-Instruct的IQ-DynamicGate超低位量化(1-2比特)模型,采用精度自适应量化技术,在保持极致内存效率的同时提升推理精度。
大型语言模型
英语
M
Mungert
1,343
3
Mistral 7B Instruct V0.1 GGUF
Apache-2.0
Mistral-7B-Instruct-v0.1是一个基于Mistral-7B-v0.1的微调模型,支持文本生成任务,采用IQ-DynamicGate超低比特量化技术,适用于内存受限的部署环境。
大型语言模型
M
Mungert
632
3