首先，确保已安装huggingface-cli：

pip install -U "huggingface_hub[cli]"  

然后，可以指定要下载的具体文件：

huggingface-cli download bartowski/allura-org_Q3-30b-A3b-Pentiment-GGUF --include "allura-org_Q3-30b-A3b-Pentiment-Q4_K_M.gguf" --local-dir ./  

如果模型大小超过50GB，则会被拆分为多个文件。要下载所有文件到本地文件夹，运行：

huggingface-cli download bartowski/allura-org_Q3-30b-A3b-Pentiment-GGUF --include "allura-org_Q3-30b-A3b-Pentiment-Q8_0/*" --local-dir ./  

可以指定新的本地目录（allura-org_Q3-30b-A3b-Pentiment-Q8_0）或直接下载到当前目录（./）

保留此部分以展示使用Q4_0在线重打包的潜在理论性能提升。

Artefact2提供了详细的性能图表说明，见此处

首先需要确定您可以运行多大的模型。为此，您需要了解您的RAM和/或VRAM容量。

如果您希望模型运行尽可能快，您需要将整个模型放入GPU的VRAM中。选择一个文件大小比GPU总VRAM小1-2GB的量化版本。

如果您追求绝对最高品质，将系统RAM和GPU的VRAM相加，然后选择一个文件大小比总和小1-2GB的量化版本。

接下来，您需要决定是否使用“I-quant”或“K-quant”。

如果您不想过多思考，选择一个K-quant。这些格式为“QX_K_X”，例如Q5_K_M。

如果您想深入了解，可以查看这个非常有用的功能矩阵：

llama.cpp功能矩阵

但基本上，如果您目标是低于Q4的量化，并且您运行的是cuBLAS（Nvidia）或rocBLAS（AMD），您应该考虑I-quant。这些格式为IQX_X，例如IQ3_M。这些是较新的量化方法，在相同大小下提供更好的性能。

这些I-quant也可以在CPU上使用，但会比对应的K-quant慢，因此需要在速度与性能之间权衡。