base_model: mistralai/Mistral-Small-3.1-24B-Instruct-2503
language:

• en
• fr
• de
• es
• pt
• it
• ja
• ko
• ru
• zh
• ar
• fa
• id
• ms
• ne
• pl
• ro
• sr
• sv
• tr
• uk
• vi
• hi
• bn
  tags:
• Mistral
• Mistral 2503
• instruct
• 128k context
• all use cases
• maxed quants
• Neo Imatrix
  license: apache-2.0
  pipeline_tag: text-generation

Mistral-Small-3.1-24B-Instruct-2503-MAX-NEO-Imatrix-GGUF

Mistralai最新推出的“Mistral-Small-3.1-24B-Instruct-2503”模型，搭载“Neo Imatrix”技术和“Maxed out”量化方案，全面提升性能表现。

与Mistralai大多数模型类似，此模型基本未经内容审查。

我提供了3种不同的系统提示模板，以充分激活该模型的潜力。

注意：此模型仅支持文本生成，不包含“视觉”组件。

下方提供5个示例（使用IQ4XS量化级别生成）。

上下文长度：128k。

“MAXED”特性

意味着所有量化版本的嵌入层和输出张量均采用“BF16”（全精度）格式。
这会以略微增加模型体积为代价，显著提升生成质量、深度和整体性能。

“NEO IMATRIX”技术

由David_AU构建的强大内部矩阵数据集，可全面提升模型功能、指令跟随能力、输出质量，并增强对概念和现实世界的关联理解。
结合“MAX”量化技术可进一步优化性能。

以下按“BPW”排序的量化等级表（附相对强度对比），从最低的“IQ1_S”到最高的“Q8_0”（F16为全精度）：

  
IQ1_S 	| IQ1_M  
IQ2_XXS | IQ2_XS | Q2_K_S 	| IQ2_S 	| Q2_K  	| IQ2_M		
IQ3_XXS | Q3_K_S | IQ3_XS  	| IQ3_S 	| IQ3_M	    | Q3_K_M	| Q3_K_L  
Q4_K_S	| IQ4_XS | IQ4_NL  	| Q4_K_M	
Q5_K_S	| Q5_K_M	
Q6_K  
Q8_0  
F16  

推荐使用IQ3s/IQ4XS/IQ4NL/Q4s量化版本以获得最佳创意效果。
同时建议配合“系统提示#3”（示例中采用此模板以激发模型潜力）并将温度参数（TEMP）设为1以上，以获得最具创造性的生成结果。

IQ4XS/IQ4NL量化版本会生成与其他“Q”和“IQ”量化版本不同的输出。
这些版本尤其适合创意型任务。

在IQ4s（首选）/Q4s（次选）及更低量化级别表现最为强劲。

推荐q5s/q6/q8用于常规用途。

Q4_0/Q5_0适合移动设备使用。

Q8仅支持MAX量化，因imatrix对此级别无效。

注意：IQ1s性能欠佳，IQ2s勉强可用，建议至少使用IQ3s以上级别。

更多量化信息请参阅下文“最高质量设置/最优操作指南/参数与采样器”文档。

基准测试、用法、模型模板及其他信息：

请参阅模型原始仓库：
[ https://huggingface.co/mistralai/Mistral-Small-3.1-24B-Instruct-2503 ]

可选系统提示模板（增强文笔/思维推理/创意加成）：

选项#1 - 通用增强：
（完整复制粘贴以下内容，包括换行符）

  
For every user task...（中略）...=>output(IdeaArray)  

选项#2 - 思维/推理：
（非专业推理模型，但可提升生成质量）

You are a deep thinking AI...（中略）...</think> tags.  

选项#3 - 创意增强：
（配合温度参数≥1使用效果显著）

Below is an instruction...（中略）...in the story.  

重要：最高质量设置/最优操作指南/参数与采样器

使用本模型（包括GGUF或其他量化版本）前，请务必查阅该文档获取关键参数设置。

文档同时包含适用于所有模型的通用优化方案：
[ https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters ]

示例：

所有示例均使用IQ4XS量化，基础参数和标准模板生成。
温度0.8，重复惩罚1.1，TopK 40，topP 0.95，minP 0.05
重复惩罚范围：64-128（保持逻辑连贯性）

警告：部分内容可能NSFW。含血腥恐怖描写。未审查版本。

（以下为五个完整示例，包含：

1. 独裁统治下的反抗者开篇场景
2. 《Waystone客栈》续写（两版对比）
3. 六则《黑镜》式时空穿越情色剧集构思
4. 800字狂傲自荐文案
5. 利用夜间辐射降温缓解全球变暖方案）

（因篇幅限制，具体示例内容未完整呈现，完整示例包含详细的情节描写、对话和技术说明）