🚀 MistralAI的Devstral - Small - 2507的Llamacpp imatrix量化版本

本项目是对MistralAI的Devstral - Small - 2507模型进行量化处理的成果。使用llama.cpp工具，为用户提供了多种量化类型的模型文件，以满足不同的硬件和性能需求。

🚀 快速开始

• 运行环境：可以在LM Studio中运行，也能直接使用llama.cpp或基于llama.cpp的其他项目。
• 提示格式：

<s>[SYSTEM_PROMPT]{system_prompt}[/SYSTEM_PROMPT][INST]{prompt}[/INST]

✨ 主要特性

• 多语言支持：支持英语、法语、德语、西班牙语等多种语言。
• 多种量化类型：提供了丰富的量化类型供用户选择，以平衡模型质量和文件大小。
• 在线重新打包：部分量化类型支持在线重新打包权重，以提高特定硬件的性能。

📦 安装指南

使用huggingface - cli下载

首先，确保你已经安装了huggingface - cli：

pip install -U "huggingface_hub[cli]"

然后，你可以指定要下载的特定文件：

huggingface-cli download bartowski/mistralai_Devstral-Small-2507-GGUF --include "mistralai_Devstral-Small-2507-Q4_K_M.gguf" --local-dir ./

如果模型文件大于50GB，它会被分割成多个文件。要将它们全部下载到本地文件夹，请运行：

huggingface-cli download bartowski/mistralai_Devstral-Small-2507-GGUF --include "mistralai_Devstral-Small-2507-Q8_0/*" --local-dir ./

你可以指定一个新的本地目录，或者将它们全部下载到当前目录。

📚 详细文档

模型信息

下载文件列表

嵌入/输出权重

部分量化类型（如Q3_K_XL、Q4_K_L等）采用标准量化方法，将嵌入和输出权重量化为Q8_0，而非默认设置。

ARM/AVX信息

• 之前，用户会下载Q4_0_4_4/4_8/8_8文件，这些文件的权重在内存中交错排列，以提高ARM和AVX机器的性能。
• 现在，有了“在线重新打包”功能。如果使用Q4_0且硬件适合重新打包权重，它会自动进行。
• 从llama.cpp版本b4282开始，无法运行Q4_0_X_X文件，需使用Q4_0。
• 此外，使用IQ4_NL可以获得稍好的质量，它也会为ARM重新打包权重，但目前仅支持4_4。加载时间可能会变慢，但总体速度会提高。

选择合适的文件

• 首先，确定你能运行的模型大小，这取决于你的RAM和/或VRAM容量。
  • 若要模型运行速度最快，选择文件大小比GPU的VRAM小1 - 2GB的量化文件。
  • 若要追求最高质量，将系统RAM和GPU的VRAM相加，选择比该总和小1 - 2GB的量化文件。
• 然后，决定使用“I - quant”还是“K - quant”。
  • 若不想过多考虑，选择K - quant，格式为“QX_K_X”，如Q5_K_M。
  • 若想深入了解，可查看[llama.cpp特性矩阵](https://github.com/ggerganov/llama.cpp/wiki/Feature - matrix)。一般来说，若目标是低于Q4且使用cuBLAS（Nvidia）或rocBLAS（AMD），应选择I - quant，格式为IQX_X，如IQ3_M。I - quant较新，相同大小下性能更好，但在CPU上使用比K - quant慢。

🔧 技术细节

• 量化工具：使用llama.cpp的版本b5856进行量化。
• 原始模型：https://huggingface.co/mistralai/Devstral - Small - 2507
• 校准数据集：所有量化使用imatrix选项和来自这里的数据集。

📄 许可证

本项目采用apache - 2.0许可证。如果你想了解更多关于我们如何处理你的个人数据的信息，请阅读我们的 隐私政策。

致谢

感谢kalomaze和Dampf协助创建imatrix校准数据集。 感谢ZeroWw启发我们对嵌入/输出进行实验。 感谢LM Studio赞助本项目。

如果你想支持我的工作，请访问我的ko - fi页面：https://ko - fi.com/bartowski