🚀 Legion-V2.1-LLaMa-70B-Elarablated-v0.8-hf的Llamacpp imatrix量化版本

由e - n - v - y发布模型的量化版本

📖 [详细文档] • 🚀 [快速开始] • 💻 [使用示例]

🚀 快速开始

此项目是Legion-V2.1-LLaMa-70B-Elarablated-v0.8-hf模型基于llama.cpp的量化版本。你可以通过以下方式使用：

1. 在LM Studio中运行量化后的模型。
2. 直接使用llama.cpp或任何基于llama.cpp的项目运行。

✨ 主要特性

• 采用llama.cpp的特定版本（b5524）进行量化。
• 提供多种量化类型和文件供选择，以满足不同的硬件和性能需求。
• 支持在线重新打包权重，以优化ARM和AVX机器的性能。

📦 安装指南

安装huggingface-cli

如果你需要从Hugging Face下载模型文件，可以使用huggingface-cli。首先确保你已经安装了它：

pip install -U "huggingface_hub[cli]"

下载模型文件

单个文件下载

如果你只需要下载单个文件，可以使用以下命令：

huggingface-cli download bartowski/e-n-v-y_Legion-V2.1-LLaMa-70B-Elarablated-v0.8-hf-GGUF --include "e-n-v-y_Legion-V2.1-LLaMa-70B-Elarablated-v0.8-hf-Q4_K_M.gguf" --local-dir ./

拆分文件下载

如果模型文件大于50GB，它会被拆分成多个文件。你可以使用以下命令下载所有拆分文件：

huggingface-cli download bartowski/e-n-v-y_Legion-V2.1-LLaMa-70B-Elarablated-v0.8-hf-GGUF --include "e-n-v-y_Legion-V2.1-LLaMa-70B-Elarablated-v0.8-hf-Q8_0/*" --local-dir ./

你可以指定一个新的本地目录，或者将文件下载到当前目录（./）。

💻 使用示例

提示词格式

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|>
<|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|>
<|start_header_id|>assistant<|end_header_id|>

下载文件

从下面的表格中选择你需要的文件进行下载：

📚 详细文档

嵌入/输出权重

部分量化文件（如Q3_K_XL、Q4_K_L等）采用标准量化方法，但嵌入和输出权重被量化为Q8_0，而非默认值。

ARM/AVX信息

以前，你需要下载Q4_0_4_4/4_8/8_8文件，这些文件的权重会在内存中交错排列，以提高ARM和AVX机器的性能。现在，有了“在线重新打包”功能，详情见此PR。如果你使用Q4_0并且硬件能从权重重新打包中受益，它会自动进行实时处理。

截至llama.cpp版本b4282，你将无法运行Q4_0_X_X文件，而是需要使用Q4_0。

此外，根据此PR，如果你希望获得更好的质量，可以使用IQ4_NL，它也会为ARM重新打包权重（目前仅支持4_4）。加载时间可能会变慢，但总体速度会提高。

如何选择文件

🔧 技术细节

本项目使用llama.cpp的b5524版本进行量化。所有量化文件均使用imatrix选项和此数据集生成。

🤝 贡献指南

感谢kalomaze和Dampf协助创建imatrix校准数据集。 感谢ZeroWw启发我进行嵌入/输出实验。 感谢LM Studio赞助我的工作。

如果你想支持我的工作，请访问我的ko - fi页面：https://ko-fi.com/bartowski

📄 许可证

本项目遵循llama3.3许可证。