AIbase

多级量化适配
E N V Y Legion V2.1 LLaMa 70B Elarablated V0.8 Hf GGUF
Legion-V2.1-LLaMa-70B-Elarablated-v0.8-hf是基于LLaMa-70B的量化版本，采用llama.cpp进行优化，提供多种量化选项以适应不同硬件需求。
大型语言模型
E
bartowski
267
1
Arliai QwQ 32B ArliAI RpR V4 GGUF
Apache-2.0
32B参数规模的量化大语言模型，基于ArliAI/QwQ-32B-ArliAI-RpR-v4模型，使用llama.cpp进行多种精度量化，适用于文本生成任务。
大型语言模型
英语
A
bartowski
1,721
1
Tesslate Tessa T1 3B GGUF
Apache-2.0
Tessa-T1-3B是基于Qwen2架构的3B参数大语言模型，提供多种量化版本以适应不同硬件需求。
大型语言模型
英语
T
bartowski
697
6
72B Qwen2.5 Kunou V1 GGUF
其他
基于Qwen2.5-72B-Instruct的量化版本，采用llama.cpp进行多种量化处理，适用于本地推理
大型语言模型
7
bartowski
319
4
Qwen2.5 Coder 1.5B Instruct Abliterated GGUF
Apache-2.0
基于Qwen2.5-Coder-1.5B-Instruct-abliterated模型的Llamacpp imatrix量化版本，适用于代码生成和文本生成任务。
大型语言模型
英语
Q
bartowski
729
1