首先确保已安装huggingface-cli：

pip install -U "huggingface_hub[cli]"  

然后可以指定目标文件：

huggingface-cli download bartowski/LGAI-EXAONE_EXAONE-Deep-2.4B-GGUF --include "LGAI-EXAONE_EXAONE-Deep-2.4B-Q4_K_M.gguf" --local-dir ./  

如果模型超过50GB，会被分割为多个文件。要下载全部文件到本地文件夹，运行：

huggingface-cli download bartowski/LGAI-EXAONE_EXAONE-Deep-2.4B-GGUF --include "LGAI-EXAONE_EXAONE-Deep-2.4B-Q8_0/*" --local-dir ./  

可以指定新的本地目录（如LGAI-EXAONE_EXAONE-Deep-2.4B-Q8_0）或直接下载到当前目录（./）

保留此部分以展示使用在线重打包Q4_0的潜在性能提升。

Artefact2提供了详细的性能图表，见此处

首先确定可运行的模型大小。需计算可用RAM和/或VRAM。

若追求最快运行速度，需将整个模型放入GPU的VRAM。选择比GPU总VRAM小1-2GB的量化文件。

若追求最高质量，将系统RAM和GPU的VRAM相加，选择比总和小1-2GB的量化文件。

接下来决定使用“I-quant”还是“K-quant”。

若不想过多思考，选择K-quant。格式为“QX_K_X”，如Q5_K_M。

若想深入了解，可查看llama.cpp功能矩阵

简而言之，若目标低于Q4且使用cuBLAS（Nvidia）或rocBLAS（AMD），应考虑I-quant。格式为IQX_X，如IQ3_M。这些是新方法，在相同大小下性能更优。

I-quant也可用于CPU，但速度慢于K-quant，需权衡速度与性能。

I-quant不兼容Vulkan（AMD显卡需确认使用rocBLAS还是Vulkan构建）。目前LM Studio有ROCm支持的预览版，其他推理引擎也有专门构建。