超低比特量化
Qwq 32B ArliAI RpR V4 GGUF
Apache-2.0
基于Qwen/QwQ-32B的文本生成模型,专注于角色扮演和创意写作任务,支持超低比特量化和长对话处理。
大型语言模型
Transformers
英语
Q
Mungert
523
2
Kanana 1.5 8b Instruct 2505 GGUF
Apache-2.0
Kanana 1.5 是 Kanana 模型系列的新版本,在编码、数学和函数调用能力方面有显著提升,能够处理长达32K个令牌的输入,使用YaRN时可处理多达128K个令牌。
大型语言模型
Transformers
支持多种语言
K
Mungert
606
2
Qwen3 14B GGUF
Apache-2.0
Qwen3-14B是基于Qwen/Qwen3-14B-Base生成的GGUF格式模型,支持文本生成任务,采用IQ-DynamicGate超低比特量化技术优化内存效率。
大型语言模型
Q
Mungert
1,597
6
Qwen2.5 7B Instruct GGUF
Apache-2.0
Qwen2.5-7B-Instruct是基于Qwen2.5-7B的指令微调模型,支持文本生成任务,特别优化了聊天场景下的表现。
大型语言模型
英语
Q
Mungert
706
4
Olympiccoder 7B GGUF
Apache-2.0
OlympicCoder-7B是基于Qwen2.5-Coder-7B-Instruct优化的代码生成模型,采用IQ-DynamicGate超低比特量化技术,专为内存受限环境设计。
大型语言模型
英语
O
Mungert
849
3
Phi 2 GGUF
MIT
phi-2 是一个采用 IQ-DynamicGate 超低比特量化(1-2 比特)的文本生成模型,适用于自然语言处理和代码生成任务。
大型语言模型
支持多种语言
P
Mungert
472
2
GLM Z1 32B 0414 GGUF
MIT
GLM-Z1-32B-0414是一个32B参数规模的多语言文本生成模型,支持中文和英文,采用MIT许可证发布。
大型语言模型
支持多种语言
G
Mungert
994
3
Llama 3.1 Nemotron 70B Instruct HF GGUF
基于Meta Llama-3.1-70B-Instruct微调的模型,采用NVIDIA HelpSteer2数据集优化,支持文本生成任务。
大型语言模型
英语
L
Mungert
1,434
3
Orpheus 3b 0.1 Ft GGUF
Apache-2.0
基于Llama-3-8B架构优化的超低比特量化模型,采用IQ-DynamicGate技术实现1-2比特精度自适应量化,适用于内存受限环境。
大型语言模型
英语
O
Mungert
1,427
1
Olmo 2 0325 32B Instruct GGUF
Apache-2.0
基于OLMo-2-0325-32B-DPO的指令微调模型,采用IQ-DynamicGate超低比特量化技术,专为内存受限环境优化。
大型语言模型
英语
O
Mungert
15.57k
2
Qwen2.5 VL 7B Instruct GGUF
Apache-2.0
Qwen2.5-VL-7B-Instruct 是一个多模态视觉语言模型,支持图像理解和文本生成任务。
图像生成文本
英语
Q
Mungert
17.10k
10
Llama 3.1 Nemotron Nano 8B V1 GGUF
其他
基于Llama-3架构的8B参数模型,采用IQ-DynamicGate超低比特量化技术优化内存使用
大型语言模型
英语
L
Mungert
2,088
4
Granite 3.2 8b Instruct GGUF
Apache-2.0
IBM Granite系列8B参数指令微调语言模型,采用IQ-DynamicGate超低比特量化技术,适用于高效推理场景
大型语言模型
G
Mungert
1,048
2
Mistral Small 3.1 24B Instruct 2503 GGUF
Apache-2.0
这是一个基于 Mistral-Small-3.1-24B-Base-2503 的指令微调模型,采用 GGUF 格式和 IQ-DynamicGate 超低比特量化技术。
大型语言模型
支持多种语言
M
Mungert
10.01k
7
Qwen2.5 14B Instruct 1M GGUF
Apache-2.0
Qwen2.5-14B-Instruct-1M 是一个基于 Qwen2.5-14B 的指令微调模型,支持文本生成任务,适用于聊天场景。
大型语言模型
英语
Q
Mungert
1,600
3
Mistral 7B Instruct V0.2 GGUF
Apache-2.0
Mistral-7B-Instruct-v0.2是基于Mistral-7B架构的指令微调模型,支持文本生成任务,采用IQ-DynamicGate超低比特量化技术优化内存效率。
大型语言模型
M
Mungert
742
2
Mistral 7B Instruct V0.1 GGUF
Apache-2.0
Mistral-7B-Instruct-v0.1是一个基于Mistral-7B-v0.1的微调模型,支持文本生成任务,采用IQ-DynamicGate超低比特量化技术,适用于内存受限的部署环境。
大型语言模型
M
Mungert
632
3