语言:

• 英语
• 法语
• 德语
• 西班牙语
• 葡萄牙语
• 意大利语
• 日语
• 韩语
• 俄语
• 中文
• 阿拉伯语
• 波斯语
• 印尼语
• 马来语
• 尼泊尔语
• 波兰语
• 罗马尼亚语
• 塞尔维亚语
• 瑞典语
• 土耳其语
• 乌克兰语
• 越南语
• 印地语
• 孟加拉语

许可证: Apache-2.0 库名称: llmstudio 推理: false 基础模型:

• mistralai/Devstral-Small-2505 额外授权说明: >- 如果您想了解更多关于我们如何处理您的个人数据的信息，请阅读我们的隐私政策。 管道标签: 文本到文本生成

[!注意] 在Mistral，我们在向社区提供GGUF量化检查点方面还没有太多经验，但我们希望帮助推动生态系统的发展。如果您在这里提供的检查点遇到任何问题，请开启讨论或提交拉取请求。

Devstral-Small-2505 (gguf)

Devstral是一款专为软件工程任务设计的智能LLM（大型语言模型），由Mistral AI和All Hands AI合作开发。Devstral擅长利用工具探索代码库、编辑多个文件以及驱动软件工程代理。该模型在SWE-bench上表现出色，使其成为该基准测试中排名第一的开源模型。

这是Devstral-Small-2505模型的GGUF版本。我们发布了BF16权重以及以下量化格式：

• Q8_0（推荐）
• Q5_K_M（推荐）
• Q4_K_M（推荐）
• Q4_0

该模型基于Mistral-Small-3.1微调而来，因此具有长达128k tokens的上下文窗口。作为一款编码代理，Devstral仅支持文本处理，并且在从Mistral-Small-3.1微调之前移除了视觉编码器。

对于需要特殊功能（如更大的上下文窗口、领域特定知识等）的企业用户，我们将发布超出Mistral AI社区贡献范围的商业模型。

了解更多关于Devstral的信息，请阅读我们的博客文章。

主要特点：

• 智能编码：Devstral专为智能编码任务设计，是软件工程代理的理想选择。
• 轻量级：仅240亿参数的紧凑尺寸，Devstral足够轻量，可以在单个RTX 4090或32GB内存的Mac上运行，适合本地部署和设备端使用。
• Apache 2.0许可证：开放许可证，允许商业和非商业用途的修改和使用。
• 上下文窗口：128k tokens的上下文窗口。
• 分词器：使用Tekken分词器，词汇量为131k。

使用方法

我们建议使用OpenHands框架来使用Devstral，具体说明请见此处。要在本地使用GGUF量化检查点，请参考以下部分。

本地推理（GGUF）

从Hugging Face下载权重：

pip install -U "huggingface_hub[cli]"
huggingface-cli download \
"mistralai/Devstral-Small-2505_gguf" \
--include "devstralQ4_K_M.gguf" \
--local-dir "mistralai/Devstral-Small-2505_gguf/"

您可以使用LMStudio在本地运行模型。

• 下载并安装LM Studio
• 安装lms cli ~/.lmstudio/bin/lms bootstrap
• 在bash终端中，在下载模型检查点的目录（例如mistralai/Devstral-Small-2505_gguf）中运行lms import devstralQ4_K_M.ggu
• 打开LMStudio应用程序，点击终端图标进入开发者选项卡。点击选择模型加载并选择Devstral Q4 K M。切换状态按钮启动模型，在设置中切换“Serve on Local Network”为开启状态。
• 在右侧选项卡中，您将看到一个API标识符（应为devstralq4_k_m）和API使用下的API地址。请记下此地址，我们将在下一步中使用。

现在，您可以通过OpenHands与LM Studio中运行的模型交互。使用Docker启动OpenHands服务器：

docker pull docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik
docker run -it --rm --pull=always \
	-e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.38-nikolaik \
	-e LOG_ALL_EVENTS=true \
	-v /var/run/docker.sock:/var/run/docker.sock \
	-v ~/.openhands-state:/.openhands-state \
	-p 3000:3000 \
	--add-host host.docker.internal:host-gateway \
	--name openhands-app \
	docker.all-hands.dev/all-hands-ai/openhands:0.38

服务器将在http://0.0.0.0:3000启动。在浏览器中打开它，您将看到一个名为“AI Provider Configuration”的选项卡。点击第二行的“see advanced setting”。在新选项卡中，将“advanced”切换为开启。将自定义模型设置为mistral/devstralq4_k_m，并将基础URL设置为我们在LM Studio中获得的api地址。将API密钥设置为dummy。点击保存更改。