量化者：bartowski
任务类型：文本生成
基础模型：mistralai/Devstral-Small-2505
推理支持：否
支持语言：

• 英语
• 法语
• 德语
• 西班牙语
• 葡萄牙语
• 意大利语
• 日语
• 韩语
• 俄语
• 中文
• 阿拉伯语
• 波斯语
• 印尼语
• 马来语
• 尼泊尔语
• 波兰语
• 罗马尼亚语
• 塞尔维亚语
• 瑞典语
• 土耳其语
• 乌克兰语
• 越南语
• 印地语
• 孟加拉语

额外说明：如需了解我们如何处理您的个人数据，请阅读我们的隐私政策。
基础模型关系：量化版本
许可证：Apache-2.0

mistralai的Devstral-Small-2505的Llamacpp imatrix量化版本

使用Unsloth的转换工具创建（感谢上传），来源：https://huggingface.co/unsloth/Devstral-Small-2505

使用llama.cpp版本b5432进行量化。

原始模型：https://huggingface.co/mistralai/Devstral-Small-2505

所有量化均使用imatrix选项，数据集来自此处。

可在LM Studio中运行，或直接通过llama.cpp及其他基于llama.cpp的项目运行。

视觉支持感谢ngxson

ngxson证实，Mistral Small 3.1的原始mmproj文件与Devstral Small完美兼容，因此mmproj文件可用于视觉任务！

注意：此非官方支持，可能不完全兼容，但实际测试中功能正常！

提示格式

<s>[SYSTEM_PROMPT]{system_prompt}[/SYSTEM_PROMPT][INST]{prompt}[/INST]

从下方下载单个文件（非整个分支）：

嵌入/输出权重

部分量化版本（如Q3_K_XL、Q4_K_L等）采用标准量化方法，但嵌入和输出权重使用Q8_0而非默认量化方式。

使用huggingface-cli下载

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/mistralai_Devstral-Small-2505-GGUF --include "mistralai_Devstral-Small-2505-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/mistralai_Devstral-Small-2505-GGUF --include "mistralai_Devstral-Small-2505-Q8_0/*" --local-dir ./

ARM/AVX相关信息

此前需下载Q4_0_4_4/4_8/8_8等分片文件，通过内存交错提升ARM和AVX设备性能。

现支持权重"在线重打包"，详见此PR。使用Q4_0时，硬件自动优化。

自llama.cpp版本b4282起，Q4_0_X_X文件不再兼容，需改用Q4_0。

此外，通过此PR可使用IQ4_NL提升质量（目前仅支持4_4 ARM重打包），加载稍慢但整体加速。

如何选择文件？

致谢

感谢kalomaze和Dampf协助创建imatrix校准数据集。
感谢ZeroWw启发嵌入/输出权重的实验。
感谢LM Studio对本项目的赞助。

支持我的工作？欢迎访问我的Ko-fi页面：https://ko-fi.com/bartowski