M

Mistral Small 3.1 24b Instruct 2503 Hf GGUF

由 MaziyarPanahi 开发
这是一个基于mrfakename/mistral-small-3.1-24b-instruct-2503-hf模型的GGUF格式量化版本,适用于文本生成任务。
下载量 137.78k
发布时间 : 3/18/2025
模型介绍
内容详情
替代品

模型简介

该模型是原始模型的GGUF格式量化版本,支持多种比特量化选项,适用于本地部署和文本生成任务。

模型特点

多比特量化支持
支持2比特至8比特的多种量化选项,满足不同硬件和性能需求。
GGUF格式
采用最新的GGUF格式,替代已停止支持的GGML格式,提供更好的兼容性和性能。
本地部署
适用于多种本地部署工具和客户端,支持GPU加速。

模型能力

文本生成
指令跟随

使用案例

文本生成
故事创作
利用模型生成连贯的故事内容。
指令响应
根据用户指令生成相应的文本回复。