AIbase

多级量化选择
Mlabonne Qwen3 8B Abliterated GGUF
这是Qwen3-8B-abliterated模型的量化版本，使用llama.cpp进行量化，适用于文本生成任务。
大型语言模型
M
bartowski
6,892
5
Qwen Qwen3 14B GGUF
Qwen团队提供的Qwen3-14B模型的量化版本，使用llama.cpp进行量化，支持多种量化类型，适合在资源受限的设备上运行。
大型语言模型
Q
bartowski
36.61k
18
Qwen Qwen3 8B GGUF
Apache-2.0
Qwen3-8B的量化版本，使用llama.cpp的imatrix选项进行量化，适用于文本生成任务。
大型语言模型
Q
bartowski
23.88k
18
Katanemo Arch Function Chat 3B GGUF
其他
基于katanemo/Arch-Function-Chat-3B模型的量化版本，使用llama.cpp进行量化，支持多种量化类型，适用于文本生成任务。
大型语言模型
英语
K
bartowski
199
1
Gryphe Pantheon RP 1.8 24b Small 3.1 GGUF
Apache-2.0
这是一个基于Gryphe/Pantheon-RP-1.8-24b-Small-3.1模型的量化版本，使用llama.cpp进行量化，适用于角色扮演和文本生成任务。
大型语言模型
英语
G
bartowski
6,477
14