基础模型: mistralai/Mistral-Small-3.1-24B-Instruct-2503
支持语言:

• 英语
• 法语
• 德语
• 西班牙语
• 葡萄牙语
• 意大利语
• 日语
• 韩语
• 俄语
• 中文
• 阿拉伯语
• 波斯语
• 印尼语
• 马来语
• 尼泊尔语
• 波兰语
• 罗马尼亚语
• 塞尔维亚语
• 瑞典语
• 土耳其语
• 乌克兰语
• 越南语
• 印地语
• 孟加拉语
  库名称: vllm
  许可证: apache-2.0
  任务标签: 图像文本到文本
  标签:
• llama-cpp
• gguf-my-repo
  推理: 不支持
  额外说明: 如需了解我们如何处理您的个人数据，请阅读我们的隐私政策。

Triangle104/Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M-GGUF

本模型通过llama.cpp从mistralai/Mistral-Small-3.1-24B-Instruct-2503转换为GGUF格式，转换使用了ggml.ai的GGUF-my-repo空间。
关于模型的更多详情，请参考原始模型卡片。

基于Mistral Small 3 (2501)，Mistral Small 3.1 (2503)增加了先进的视觉理解能力，并将上下文长度扩展至128k tokens，同时不牺牲文本处理性能。
该模型拥有240亿参数，在文本和视觉任务上均表现出顶级能力。
本模型是指令微调版本，基础模型为：Mistral-Small-3.1-24B-Base-2503。

Mistral Small 3.1可在本地部署，经过量化后，可适配单张RTX 4090显卡或32GB内存的MacBook，具有极高的"知识密度"。

它非常适合以下场景：

• 快速响应的对话代理
• 低延迟的函数调用
• 通过微调实现领域专家功能
• 处理敏感数据的个人爱好者或组织的本地推理
• 编程和数学推理
• 长文档理解
• 视觉理解

对于需要特殊能力（如更大的上下文、特定模态、领域知识等）的企业，我们将发布超越Mistral AI社区贡献的商业模型。

主要特性

• 视觉能力：模型能够分析图像，并根据视觉内容提供见解，同时结合文本信息。
• 多语言支持：支持数十种语言，包括英语、法语、德语、希腊语、印地语、印尼语、意大利语、日语、韩语、马来语、尼泊尔语、波兰语、葡萄牙语、罗马尼亚语、俄语、塞尔维亚语、西班牙语、瑞典语、土耳其语、乌克兰语、越南语、阿拉伯语、孟加拉语、中文、波斯语等。
• 以代理为中心：提供一流的代理能力，支持原生函数调用和JSON输出。
• 高级推理：具备最先进的对话和推理能力。
• Apache 2.0许可证：开放许可，允许商业和非商业用途及修改。
• 上下文窗口：128k tokens的上下文窗口。
• 系统提示：对系统提示有很强的遵循和支持能力。
• 分词器：使用Tekken分词器，词汇量为131k。

使用llama.cpp

通过brew安装llama.cpp（适用于Mac和Linux）

brew install llama.cpp  

调用llama.cpp的服务端或命令行工具。

命令行工具：

llama-cli --hf-repo Triangle104/Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M-GGUF --hf-file mistral-small-3.1-24b-instruct-2503-q5_k_m.gguf -p "生命和宇宙的意义是"  

服务端：

llama-server --hf-repo Triangle104/Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M-GGUF --hf-file mistral-small-3.1-24b-instruct-2503-q5_k_m.gguf -c 2048  

注意：您也可以直接通过Llama.cpp仓库的使用步骤使用此模型。

步骤1：从GitHub克隆llama.cpp。

git clone https://github.com/ggerganov/llama.cpp  

步骤2：进入llama.cpp文件夹，并使用LLAMA_CURL=1标志以及其他硬件相关标志（例如，Linux下Nvidia GPU使用LLAMA_CUDA=1）进行编译。

cd llama.cpp && LLAMA_CURL=1 make  

步骤3：通过主程序运行推理。

./llama-cli --hf-repo Triangle104/Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M-GGUF --hf-file mistral-small-3.1-24b-instruct-2503-q5_k_m.gguf -p "生命和宇宙的意义是"  

或

./llama-server --hf-repo Triangle104/Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M-GGUF --hf-file mistral-small-3.1-24b-instruct-2503-q5_k_m.gguf -c 2048