首先，确保已安装huggingface-cli：

pip install -U "huggingface_hub[cli]"  

然后，可以指定要下载的文件：

huggingface-cli download bartowski/Aura-4B-GGUF --include "Aura-4B-Q4_K_M.gguf" --local-dir ./  

如果模型大小超过50GB，则会分片为多个文件。要下载所有文件到本地文件夹，运行：

huggingface-cli download bartowski/Aura-4B-GGUF --include "Aura-4B-Q8_0/*" --local-dir ./  

可以指定新的本地目录（如Aura-4B-Q8_0），或直接下载到当前目录（./）。

保留此部分以展示Q4_0在线重打包的潜在理论性能提升。

Artefact2提供了详细的性能对比图表，参见此处。

首先需确定可运行的模型大小。为此，需了解可用的RAM和/或VRAM。

若希望模型运行速度最快，需确保整个模型能放入GPU的VRAM。选择文件大小比GPU总VRAM小1-2GB的量化版本。

若追求最高质量，将系统RAM与GPU的VRAM相加，并选择文件大小比该总和小1-2GB的量化版本。

接下来，需决定使用“I-quant”还是“K-quant”。

若不想过多思考，选择K-quant。其格式为“QX_K_X”，如Q5_K_M。

若想深入了解，可查看此实用特性矩阵：

llama.cpp特性矩阵

简而言之，若目标量化级别低于Q4，且使用cuBLAS（Nvidia）或rocBLAS（AMD），建议选择I-quant。其格式为“IQX_X”，如IQ3_M。这些是新方法，能在相同大小下提供更好性能。

I-quant也可用于CPU和Apple Metal，但速度会慢于对应的K-quant，因此需权衡速度与性能。

I-quant不兼容Vulcan（同样是AMD）。若使用AMD显卡，请确认是否使用rocBLAS构建或Vulcan构建。截至本文撰写时，LM Studio已提供支持ROCm的预览版，其他推理引擎也有专门的ROCm构建。