边缘设备推理
Josiefied Qwen3 8B Abliterated V1 GGUF
基于Qwen3-8B的量化版本,采用IQ-DynamicGate超低位量化技术,优化内存效率和推理速度
大型语言模型
J
Mungert
559
1
Llama Xlam 2 8b Fc R GGUF
Salesforce开发的8B参数大型动作模型(LAM),专注于将用户意图转化为可执行动作,在多轮对话和工具使用方面表现优异。
大型语言模型
英语
L
eaddario
264
1
Qwen2.5 7B Instruct GGUF
Apache-2.0
Qwen2.5-7B-Instruct是基于Qwen2.5-7B的指令微调模型,支持文本生成任务,特别优化了聊天场景下的表现。
大型语言模型
英语
Q
Mungert
706
4
Qwen2.5 3B Instruct GGUF
其他
采用IQ-DynamicGate技术的超低位量化(1-2位)模型,适用于内存受限设备和高效推理场景
大型语言模型
英语
Q
Mungert
704
4
GLM Z1 32B 0414 GGUF
MIT
GLM-Z1-32B-0414是一个32B参数规模的多语言文本生成模型,支持中文和英文,采用MIT许可证发布。
大型语言模型
支持多种语言
G
Mungert
994
3
Deepcoder 14B Preview GGUF
MIT
采用IQ-DynamicGate技术的超低位量化(1-2比特)模型,适用于内存受限设备和边缘计算场景
大型语言模型
英语
D
Mungert
1,764
6
Olmo 2 0325 32B Instruct GGUF
Apache-2.0
基于OLMo-2-0325-32B-DPO的指令微调模型,采用IQ-DynamicGate超低比特量化技术,专为内存受限环境优化。
大型语言模型
英语
O
Mungert
15.57k
2
Granite 3.2 8b Instruct GGUF
Apache-2.0
IBM Granite系列8B参数指令微调语言模型,采用IQ-DynamicGate超低比特量化技术,适用于高效推理场景
大型语言模型
G
Mungert
1,048
2
Mistral 7B Instruct V0.1 GGUF
Apache-2.0
Mistral-7B-Instruct-v0.1是一个基于Mistral-7B-v0.1的微调模型,支持文本生成任务,采用IQ-DynamicGate超低比特量化技术,适用于内存受限的部署环境。
大型语言模型
M
Mungert
632
3