基础模型: SicariusSicariiStuff/LLAMA-3_8B_Unaligned_BETA
流水线标签: 文本生成
量化者: bartowski

LLAMA-3_8B_Unaligned_BETA的Llamacpp imatrix量化版本

使用llama.cpp发布的b3901版本进行量化。

原始模型: https://huggingface.co/SicariusSicariiStuff/LLAMA-3_8B_Unaligned_BETA

所有量化均使用imatrix选项完成，数据集来自此处

可在LM Studio中运行

提示格式

<|im_start|>system  
{系统提示}<|im_end|>  
<|im_start|>user  
{用户提示}<|im_end|>  
<|im_start|>assistant  

更新内容:

更新了分词器

从下方下载单个文件（非整个分支）:

嵌入/输出权重

部分量化（如Q3_K_XL、Q4_K_L等）为标准量化方法，但嵌入和输出权重被量化为Q8_0而非默认值。

有人认为这能提升品质，也有人未察觉差异。如果您使用这些模型，请留言分享您的发现。我希望了解这些量化是否被实际使用且有价值，以避免上传无人使用的量化版本。

感谢！

使用huggingface-cli下载

首先，确保已安装huggingface-cli：

pip install -U "huggingface_hub[cli]"  

然后，可以指定目标文件：

huggingface-cli download bartowski/LLAMA-3_8B_Unaligned_BETA-GGUF --include "LLAMA-3_8B_Unaligned_BETA-Q4_K_M.gguf" --local-dir ./  

如果模型超过50GB，会被分割为多个文件。要下载全部文件到本地文件夹，运行：

huggingface-cli download bartowski/LLAMA-3_8B_Unaligned_BETA-GGUF --include "LLAMA-3_8B_Unaligned_BETA-Q8_0/*" --local-dir ./  

可以指定新的本地目录（如LLAMA-3_8B_Unaligned_BETA-Q8_0）或直接下载到当前目录（./）

Q4_0_X_X

这些量化不适用于Metal（Apple）卸载，仅适用于ARM芯片。

如果使用ARM芯片，Q4_0_X_X量化会有显著加速。查看Q4_0_4_4的速度对比原始拉取请求

要确定哪种最适合您的ARM芯片，可查看AArch64 SoC特性（感谢EloyOn！）

如何选择文件？

Artefact2提供了详细的性能图表说明，见此处

首先确定可运行的模型大小。需要计算可用的RAM和/或VRAM。

若追求最快运行速度，需将整个模型放入GPU的VRAM。选择比GPU总VRAM小1-2GB的量化文件。

若追求最高品质，将系统RAM与GPU的VRAM相加，选择比总和小1-2GB的量化文件。

其次，需决定使用"I-quant"还是"K-quant"。

若不想过多思考，选择K-quant。格式为"QX_K_X"，如Q5_K_M。

若想深入了解，可查看此实用特性图表：

llama.cpp特性矩阵

简而言之，若目标低于Q4且运行cuBLAS（Nvidia）或rocBLAS（AMD），应考虑I-quant。格式为"IQX_X"，如IQ3_M。这些是新方法，在相同大小下性能更优。

I-quant也可用于CPU和Apple Metal，但速度会慢于对应的K-quant，需权衡速度与性能。

I-quant不兼容Vulcan（AMD），若使用AMD显卡请确认是rocBLAS还是Vulcan版本。截至本文撰写时，LM Studio已提供ROCm支持的预览版，其他推理引擎也有专门的ROCm版本。

致谢

感谢kalomaze和Dampf协助创建imatrix校准数据集

感谢ZeroWw启发嵌入/输出实验

想支持我的工作？访问我的ko-fi页面：https://ko-fi.com/bartowski