🚀 Aion-RP-Llama-3.1-8B的Llamacpp imatrix量化版本

本项目提供了Aion-RP-Llama-3.1-8B模型的量化版本，能够在不同硬件条件下更高效地运行。

🚀 快速开始

使用 llama.cpp 的 b4273 版本进行量化。 原始模型地址：https://huggingface.co/aion-labs/Aion-RP-Llama-3.1-8B 所有量化版本均使用imatrix选项，并采用 此处 的数据集。 你可以在 LM Studio 中运行这些量化版本。

✨ 主要特性

• 提供多种量化类型，满足不同硬件和性能需求。
• 部分量化版本对嵌入和输出权重进行特殊处理，提高质量。
• 支持使用huggingface-cli进行文件下载。

📦 安装指南

使用huggingface-cli下载

首先，确保你已经安装了huggingface-cli：

pip install -U "huggingface_hub[cli]"

然后，你可以指定要下载的特定文件：

huggingface-cli download bartowski/Aion-RP-Llama-3.1-8B-GGUF --include "Aion-RP-Llama-3.1-8B-Q4_K_M.gguf" --local-dir ./

如果模型文件大于50GB，它会被分割成多个文件。若要将它们全部下载到本地文件夹，请运行：

huggingface-cli download bartowski/Aion-RP-Llama-3.1-8B-GGUF --include "Aion-RP-Llama-3.1-8B-Q8_0/*" --local-dir ./

你可以指定一个新的本地目录（如Aion-RP-Llama-3.1-8B-Q8_0），也可以直接下载到当前目录（./）。

💻 使用示例

提示格式

__SYSTEM__: {system_prompt}
__USER__: {prompt}
__ASSISTANT__:

文件下载

从以下列表中选择并下载文件（非整个分支）：

📚 详细文档

嵌入/输出权重

部分量化版本（如Q3_K_XL、Q4_K_L等）采用标准量化方法，将嵌入和输出权重量化为Q8_0，而非默认值。

Q4_0_X_X信息

新特性：由于 此PR 中对权重进行在线重新打包的努力，如果你使用为ARM设备编译的llama.cpp，现在可以直接使用Q4_0。 同样，如果你想获得稍好的性能，可以使用IQ4_NL。这得益于 此PR，它也会为ARM重新打包权重，不过目前仅适用于4_4。加载时间可能会较慢，但总体速度会提高。

这些量化版本 不适用于 Metal（苹果）或GPU（英伟达/AMD/英特尔）卸载，仅适用于ARM芯片（以及某些AVX2/AVX512 CPU）。 如果你使用的是ARM芯片，Q4_0_X_X量化版本将显著提高速度。你可以查看 原始PR 中的Q4_0_4_4速度比较。 若要检查哪个版本最适合你的ARM芯片，你可以查看 AArch64 SoC特性（感谢EloyOn！）。 如果你使用的是支持AVX2或AVX512的CPU（通常是服务器CPU和AMD最新的Zen5 CPU），并且不进行GPU卸载，Q4_0_8_8也可能提供不错的速度：

如何选择文件

🔧 技术细节

本项目使用llama.cpp的特定版本（b4273）进行量化，采用imatrix选项和特定的校准数据集。部分量化版本对嵌入和输出权重进行了特殊处理，以提高性能和质量。

📄 许可证

本项目采用Apache-2.0许可证。

致谢

感谢kalomaze和Dampf在创建imatrix校准数据集方面提供的帮助。 感谢ZeroWw在嵌入/输出实验方面的启发。 如果你想支持我的工作，请访问我的ko-fi页面：https://ko-fi.com/bartowski