语言:

• 英语
• 法语
• 德语
• 西班牙语
• 葡萄牙语
• 意大利语
• 日语
• 韩语
• 俄语
• 中文
• 阿拉伯语
• 波斯语
• 印尼语
• 马来语
• 尼泊尔语
• 波兰语
• 罗马尼亚语
• 塞尔维亚语
• 瑞典语
• 土耳其语
• 乌克兰语
• 越南语
• 印地语
• 孟加拉语 许可证: Apache-2.0 库名称: vllm 推理: false 基础模型:
• mistralai/Mistral-Small-3.1-24B-Base-2503 额外授权说明: >- 如果您想了解更多关于我们如何处理您的个人数据的信息，请阅读我们的隐私政策。 管道标签: 图像文本到文本

Mistral-Small-3.1-24B-Instruct-2503 GGUF 模型

模型生成详情

该模型使用 llama.cpp 在提交 92ecdcc0 时生成。

IQ-DynamicGate 超低比特量化（1-2 比特）

我们最新的量化方法引入了精度自适应量化，适用于超低比特模型（1-2 比特），并在 Llama-3-8B 上通过基准测试证明了改进。该方法采用分层策略，在保持极高内存效率的同时保留准确性。

基准测试背景

所有测试均在 Llama-3-8B-Instruct 上进行，使用：

• 标准困惑度评估流程
• 2048 个 token 的上下文窗口
• 所有量化方法使用相同的提示集

方法

• 动态精度分配：
  • 前 25% 和后 25% 的层 → IQ4_XS（选定层）
  • 中间 50% → IQ2_XXS/IQ3_S（提高效率）
• 关键组件保护：
  • 嵌入层和输出层使用 Q5_K
  • 与标准 1-2 比特相比，减少误差传播 38%

量化性能对比（Llama-3-8B）

关键指标：

• PPL = 困惑度（越低越好）
• Δ PPL = 从标准到 DynamicGate 的百分比变化
• 速度 = 推理时间（CPU avx2，2048 token 上下文）
• 大小差异反映混合量化开销

关键改进：

• üî• IQ1_M 显示困惑度大幅降低 43.9%（27.46 → 15.41）
• üöÄ IQ2_S 在仅增加 0.2GB 的情况下将困惑度降低 36.9%
• ‚ö° IQ1_S 尽管是 1 比特量化，仍保持 39.7% 的更高准确性

权衡：

• 所有变体都有适度的体积增加（0.1-0.3GB）
• 推理速度保持相近（差异 <5%）

何时使用这些模型

üìå 将模型适配到 GPU VRAM 中

‚úî 内存受限的部署

‚úî CPU 和边缘设备，可以容忍 1-2 比特误差

‚úî 研究超低比特量化