许可协议：Apache-2.0
支持语言：

• 法语
• 意大利语
• 德语
• 西班牙语
• 英语

标签：

• 混合专家模型

量化作者：bartowski
任务类型：文本生成

Mixtral-8x22B-v0.1的Llamacpp量化版本

使用llama.cpp发布的b2636版本进行量化。

原始模型：https://huggingface.co/mistral-community/Mixtral-8x22B-v0.1

提示格式

这是一个基础模型，没有特定的提示格式。

从下方下载单个文件（而非整个分支）：

这是一个非常大的模型，已分割为多个部分上传。最新版本的llamacpp允许加载第一部分后自动加载其余部分。请确保下载所选大小的所有部分。

如何选择文件？

Artefact2提供了一份详细的性能对比图表，请参考此处。

首先需要确定你能运行的模型大小。为此，你需要了解你的RAM和/或VRAM容量。

如果你希望模型运行速度尽可能快，你需要让整个模型适配你的GPU显存。选择一个量化文件大小比你的GPU总显存小1-2GB的版本。

如果你追求绝对的最高质量，将你的系统内存和GPU显存相加，然后选择一个量化文件大小比这个总和小1-2GB的版本。

接下来，你需要决定使用“I-quant”还是“K-quant”。

如果你不想考虑太多，直接选择K-quant。这些文件的格式为“QX_K_X”，例如Q5_K_M。

如果你想深入了解，可以参考这份非常有用的特性对比表：

llama.cpp特性矩阵

简而言之，如果你的目标量化级别低于Q4，并且你使用的是cuBLAS（Nvidia）或rocBLAS（AMD），你应该考虑I-quant。这些文件的格式为IQX_X，例如IQ3_M。这些是较新的量化方法，在相同大小下提供更好的性能。

I-quant也可以在CPU和Apple Metal上运行，但速度会比对应的K-quant慢，因此你需要在速度和性能之间做出权衡。

I-quant不兼容Vulkan（同样是AMD架构），所以如果你使用的是AMD显卡，请确认你使用的是rocBLAS构建还是Vulkan构建。截至本文撰写时，LM Studio已提供支持ROCm的预览版，其他推理引擎也有专门针对ROCm的构建版本。

想支持我的工作？访问我的Ko-fi页面：https://ko-fi.com/bartowski