Mistral Small 24B Instruct 2501 GGUF

由 bartowski 开发

Mistral-Small-24B-Instruct-2501 是一个24B参数规模的指令微调大语言模型，支持多语言文本生成任务。

大型语言模型

支持多种语言

开源协议:Apache-2.0 #多语言指令微调 #高精度量化 #轻量级部署

下载量 48.61k

发布时间 : 4/25/2025

模型介绍

内容详情

替代品

模型简介

该模型是Mistral AI发布的24B参数规模指令微调模型，采用GGUF格式量化，适用于文本生成和多语言处理任务。

模型特点

多语言支持

支持10种语言的文本生成，包括主要欧洲和亚洲语言

多种量化选项

提供从Q2到Q8的多种量化版本，适应不同硬件需求

指令微调

经过指令微调优化，更适合对话和指令遵循任务

高效推理

采用GGUF格式优化，可在消费级硬件上运行

模型能力

多语言文本生成

指令遵循

对话系统

内容创作

使用案例

对话系统

多语言客服机器人

构建支持多种语言的智能客服系统

内容创作

多语言内容生成

自动生成多种语言的营销文案或文章

量化者：bartowski
流水线标签：文本生成
额外授权说明：若想了解我们如何处理您的个人数据，请阅读我们的隐私政策。
基础模型：mistralai/Mistral-Small-24B-Instruct-2501
推理支持：否
支持语言：

英语
法语
德语
西班牙语
意大利语
葡萄牙语
中文
日语
俄语
韩语
许可证：Apache-2.0

Mistral-Small-24B-Instruct-2501的Llamacpp imatrix量化版本

使用llama.cpp版本b4585进行量化。

原始模型：https://huggingface.co/mistralai/Mistral-Small-24B-Instruct-2501

所有量化均采用imatrix选项，数据集来自此处

可在LM Studio中运行
或直接通过llama.cpp及其他基于llama.cpp的项目运行

提示词格式

<s>[SYSTEM_PROMPT]{系统提示}[/SYSTEM_PROMPT][INST]{提示}[/INST]

从下方下载单个文件（非整个分支）：

文件名	量化类型	文件大小	是否分片	描述
Mistral-Small-24B-Instruct-2501-f32.gguf	f32	94.30GB	是	完整F32权重
Mistral-Small-24B-Instruct-2501-f16.gguf	f16	47.15GB	否	完整F16权重
Mistral-Small-24B-Instruct-2501-Q8_0.gguf	Q8_0	25.05GB	否	极高品质，通常无需但为最高可用量化
Mistral-Small-24B-Instruct-2501-Q6_K_L.gguf	Q6_K_L	19.67GB	否	嵌入和输出权重使用Q8_0。接近完美品质，推荐
Mistral-Small-24B-Instruct-2501-Q6_K.gguf	Q6_K	19.35GB	否	接近完美品质，推荐
Mistral-Small-24B-Instruct-2501-Q5_K_L.gguf	Q5_K_L	17.18GB	否	嵌入和输出权重使用Q8_0。高品质，推荐
Mistral-Small-24B-Instruct-2501-Q5_K_M.gguf	Q5_K_M	16.76GB	否	高品质，推荐
Mistral-Small-24B-Instruct-2501-Q5_K_S.gguf	Q5_K_S	16.30GB	否	高品质，推荐
Mistral-Small-24B-Instruct-2501-Q4_1.gguf	Q4_1	14.87GB	否	传统格式，性能类似Q4_K_S，但在Apple芯片上能效更优
Mistral-Small-24B-Instruct-2501-Q4_K_L.gguf	Q4_K_L	14.83GB	否	嵌入和输出权重使用Q8_0。良好品质，推荐
Mistral-Small-24B-Instruct-2501-Q4_K_M.gguf	Q4_K_M	14.33GB	否	良好品质，多数场景默认选择，推荐
Mistral-Small-24B-Instruct-2501-Q4_K_S.gguf	Q4_K_S	13.55GB	否	稍低品质但更省空间，推荐
Mistral-Small-24B-Instruct-2501-Q4_0.gguf	Q4_0	13.49GB	否	传统格式，支持ARM/AVX CPU在线重组
Mistral-Small-24B-Instruct-2501-IQ4_NL.gguf	IQ4_NL	13.47GB	否	类似IQ4_XS但稍大，支持ARM CPU在线重组
Mistral-Small-24B-Instruct-2501-Q3_K_XL.gguf	Q3_K_XL	12.99GB	否	嵌入和输出权重使用Q8_0。较低品质但可用，适合低内存环境
Mistral-Small-24B-Instruct-2501-IQ4_XS.gguf	IQ4_XS	12.76GB	否	尚可品质，比Q4_K_S更小且性能相近，推荐
Mistral-Small-24B-Instruct-2501-Q3_K_L.gguf	Q3_K_L	12.40GB	否	较低品质但可用，适合低内存环境
Mistral-Small-24B-Instruct-2501-Q3_K_M.gguf	Q3_K_M	11.47GB	否	低品质
Mistral-Small-24B-Instruct-2501-IQ3_M.gguf	IQ3_M	10.65GB	否	中低品质，新方法性能接近Q3_K_M
Mistral-Small-24B-Instruct-2501-Q3_K_S.gguf	Q3_K_S	10.40GB	否	低品质，不推荐
Mistral-Small-24B-Instruct-2501-IQ3_XS.gguf	IQ3_XS	9.91GB	否	较低品质，新方法性能略优于Q3_K_S
Mistral-Small-24B-Instruct-2501-Q2_K_L.gguf	Q2_K_L	9.55GB	否	嵌入和输出权重使用Q8_0。极低品质但意外可用
Mistral-Small-24B-Instruct-2501-Q2_K.gguf	Q2_K	8.89GB	否	极低品质但意外可用
Mistral-Small-24B-Instruct-2501-IQ2_M.gguf	IQ2_M	8.11GB	否	相对低品质，采用前沿技术实现可用性
Mistral-Small-24B-Instruct-2501-IQ2_S.gguf	IQ2_S	7.48GB	否	低品质，前沿技术实现可用性
Mistral-Small-24B-Instruct-2501-IQ2_XS.gguf	IQ2_XS	7.21GB	否	低品质，前沿技术实现可用性

嵌入/输出权重说明

部分量化版本（如Q3_K_XL、Q4_K_L等）采用标准量化方法，但将嵌入层和输出层权重量化为Q8_0而非默认类型。

使用huggingface-cli下载

点击查看下载说明

首先确保已安装huggingface-cli：

pip install -U "huggingface_hub[cli]"

然后指定目标文件：

huggingface-cli download bartowski/Mistral-Small-24B-Instruct-2501-GGUF --include "Mistral-Small-24B-Instruct-2501-Q4_K_M.gguf" --local-dir ./

若模型超过50GB会分片存储，下载全部文件到本地目录：

huggingface-cli download bartowski/Mistral-Small-24B-Instruct-2501-GGUF --include "Mistral-Small-24B-Instruct-2501-Q8_0/*" --local-dir ./

ARM/AVX相关信息

此前需下载Q4_0_4_4/4_8/8_8等版本，这些文件通过内存交错提升ARM/AVX设备性能。

现支持"在线重组"功能，详见此PR。使用Q4_0时若硬件受益会自动重组。

自llama.cpp b4282版本起，Q4_0_X_X文件已废弃，需改用Q4_0。

通过此PR还可使用IQ4_NL（目前仅支持4_4重组），加载稍慢但整体加速。

点击查看Q4_0_X_X信息（已废弃）

保留本段以展示在线重组Q4_0的潜在性能提升

点击查看AVX2系统（EPYC7702）基准测试

（基准测试数据表格翻译略）

文件选择指南

点击查看详情

Artefact2提供的详细分析包含性能图表

首先确定可用内存：

追求极速：选择比GPU显存小1-2GB的量化版本
追求最高质量：合计系统内存+GPU显存后选择小1-2GB的版本

量化类型选择：

简易选择：K-quant（格式如QX_K_X，例Q5_K_M）
进阶选择：参考llama.cpp特性矩阵
- Q4以下且使用cuBLAS（Nvidia）/rocBLAS（AMD）时建议I-quant（格式如IQX_X，例IQ3_M）
- I-quant在CPU/Apple Metal上速度较慢
- I-quant不兼容Vulkan（AMD需确认使用rocBLAS还是Vulkan构建）