首先，确保已安装 huggingface-cli：

pip install -U "huggingface_hub[cli]"  

然后，可以指定要下载的具体文件：

huggingface-cli download bartowski/dreamgen_lucid-v1-nemo-GGUF --include "dreamgen_lucid-v1-nemo-Q4_K_M.gguf" --local-dir ./  

如果模型大于 50GB，则会拆分为多个文件。要下载所有文件到本地文件夹，运行：

huggingface-cli download bartowski/dreamgen_lucid-v1-nemo-GGUF --include "dreamgen_lucid-v1-nemo-Q8_0/*" --local-dir ./  

可以指定新的本地目录（dreamgen_lucid-v1-nemo-Q8_0）或直接下载到当前目录（./）

保留此部分以展示使用 Q4_0 在线重新打包的潜在理论性能提升。

Artefact2 提供了详细的性能图表，请参阅此处

首先，确定您可以运行的模型大小。为此，需要了解您的 RAM 和/或 VRAM 容量。

如果您希望模型运行尽可能快，需要将整个模型放入 GPU 的 VRAM 中。选择一个文件大小比 GPU 总 VRAM 小 1-2GB 的量化版本。

如果您追求绝对最高质量，将系统 RAM 和 GPU VRAM 相加，然后选择一个文件大小比总和小 1-2GB 的量化版本。

接下来，您需要决定是否使用“I-quant”或“K-quant”。

如果不想过多思考，选择一个 K-quant。格式为“QX_K_X”，例如 Q5_K_M。

如果想深入了解，可以查看这个非常有用的特性图表：

llama.cpp 特性矩阵

简而言之，如果目标是低于 Q4，并且运行 cuBLAS（Nvidia）或 rocBLAS（AMD），应考虑 I-quant。格式为 IQX_X，例如 IQ3_M。这些是较新的量化方法，在相同大小下提供更好的性能。

I-quant 也可用于 CPU，但速度会比等效的 K-quant 慢，因此需要在速度与性能之间权衡。