许可证: Apache-2.0
模型名称: Mistral-Small-3.1-24B-Instruct-2503
基础模型: mistralai/Mistral-Small-3.1-24B-Instruct-2503
模型创建者: mistralai
量化方: Second State Inc.
推理支持: 否
支持语言:

• 英语
• 法语
• 德语
• 西班牙语
• 葡萄牙语
• 意大利语
• 日语
• 韩语
• 俄语
• 中文
• 阿拉伯语
• 波斯语
• 印尼语
• 马来语
• 尼泊尔语
• 波兰语
• 罗马尼亚语
• 塞尔维亚语
• 瑞典语
• 土耳其语
• 乌克兰语
• 越南语
• 印地语
• 孟加拉语

标签:

• transformers
  任务类型: 图像文本到文本

Mistral-Small-3.1-24B-Instruct-2503-GGUF

原始模型

mistralai/Mistral-Small-3.1-24B-Instruct-2503

使用LlamaEdge运行

• LlamaEdge版本: v0.16.13 及以上

• 提示模板

  • 聊天

    • 提示类型: mistral-small-chat

    • 提示字符串

      <s>[SYSTEM_PROMPT]<系统提示>[/SYSTEM_PROMPT][INST]<用户消息>[/INST]<助手响应></s>[INST]<用户消息>[/INST]  
      

  • 聊天 + 工具使用

    • 提示类型: mistral-small-tool

    • 提示字符串

      <s>[INST] {用户消息_1}[/INST][TOOL_CALLS] [{工具调用_1},{工具调用_2}]</s>[TOOL_RESULTS] {工具结果_1}[/TOOL_RESULTS] {助手消息_1}</s>[AVAILABLE_TOOLS] [{工具_1},{工具_2}][/AVAILABLE_TOOLS][INST] {系统消息}<0x0A><0x0A>{用户消息_2}[/INST]  
      

• 上下文大小: 32000

• 作为LlamaEdge服务运行

  • 聊天

    wasmedge --dir .:. --nn-preload default:GGML:AUTO:Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M.gguf \  
        llama-api-server.wasm \  
        --prompt-template mistral-small-chat \  
        --ctx-size 32000 \  
        --model-name Mistral-Small  
    

  • 聊天 + 工具使用

    wasmedge --dir .:. --nn-preload default:GGML:AUTO:Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M.gguf \  
        llama-api-server.wasm \  
        --prompt-template mistral-small-tool \  
        --ctx-size 32000 \  
        --model-name Mistral-Small  
    

• 作为LlamaEdge命令行应用运行

  • 聊天

    wasmedge --dir .:. --nn-preload default:GGML:AUTO:Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M.gguf \  
      llama-chat.wasm \  
      --prompt-template mistral-small-chat \  
      --ctx-size 32000  
    

量化GGUF模型

使用llama.cpp b4944量化。