🚀 mlx-community/Mistral-Small-3.2-24B-Instruct-2506-q8

本项目将模型 mlx-community/Mistral-Small-3.2-24B-Instruct-2506-q8 从 mistralai/Mistral-Small-3.2-24B-Instruct-2506 转换为 MLX 格式，使用的是 mlx-lm 版本 0.25.2。

🚀 快速开始

📦 安装指南

pip install mlx-lm

💻 使用示例

基础用法

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/Mistral-Small-3.2-24B-Instruct-2506-q8")

prompt = "hello"

if tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages, add_generation_prompt=True
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True)

📚 详细文档

支持语言

• 英语（en）
• 法语（fr）
• 德语（de）
• 西班牙语（es）
• 葡萄牙语（pt）
• 意大利语（it）
• 日语（ja）
• 韩语（ko）
• 俄语（ru）
• 中文（zh）
• 阿拉伯语（ar）
• 波斯语（fa）
• 印尼语（id）
• 马来语（ms）
• 尼泊尔语（ne）
• 波兰语（pl）
• 罗马尼亚语（ro）
• 塞尔维亚语（sr）
• 瑞典语（sv）
• 土耳其语（tr）
• 乌克兰语（uk）
• 越南语（vi）
• 印地语（hi）
• 孟加拉语（bn）

许可证

本项目采用 Apache-2.0 许可证。

额外说明

如果您想了解我们如何处理您的个人数据，请阅读我们的 隐私政策。

模型标签

本模型的标签为文本生成（text-generation），同时带有 "mlx" 标签。